开源模型竟被用于窃取下游微调数据？清华团队揭秘开源微调范式新型隐藏安全风险
开源模型竟被用于窃取下游微调数据？清华团队揭秘开源微调范式新型隐藏安全风险基于开源模型继续在下游任务上使用私有下游数据进行微调，得到在下游任务表现更好的专有模型，已经成为了一类标准范式。
来自主题: AI技术研报
10505 点击 2025-05-28 09:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
基于开源模型继续在下游任务上使用私有下游数据进行微调，得到在下游任务表现更好的专有模型，已经成为了一类标准范式。
Meta推出KernelLLM，这个基于Llama 3.1微调的8B模型，竟能将PyTorch代码自动转换为高效Triton GPU内核。实测数据显示，它的单次推理性能超越GPT-4o和DeepSeek V3，多次生成时得分飙升。
“当我们看到这些数据趋势的时候，一个词浮现在我的眼前——黑客松（Hackathon），AI 领域的项目，快速地出现、快速地停更，他们似乎在做一场真实市场里的黑客松，那么，什么领域涌现了最多项目，哪些方面是停更的重灾区，哪些项目幸存了，激烈竞争的项目们如今怎么样了，我们都尝试着在这份趋势报告里叙述一二。”
腾讯自发布一季报以来股价表现平平，虽有小涨，但未能创出新高。今年2月我在《Deepseek带来的价值重估 腾讯还能涨多久？》中说过，腾讯股价接下来能不能继续上涨，要看AI能带来多少实实在在的收入贡献。在一季报中，腾讯管理层虽然强调了AI对广告业务的提升，但未量化到具体的收入，也没有披露任何与AI相关的运营数据。
大模型巨无霸体量，让端侧部署望而却步？华为联手中科大提出CBQ新方案，仅用0.1%的训练数据实现7倍压缩率，保留99%精度。
2023年，业界还在卷Scaling Law，不断突破参数规模和数据规模时，微软亚洲研究院张丽团队就选择了另一条路径。
新增 Qwen3-0.6B 在 Ag_news 数据集 Zero-Shot 的效果。新增 Qwen3-0.6B 线性层分类方法的效果。
想象一下，你是一位金融分析师，面前堆满了数百页的季报、SEC文件和市场数据，你需要在明天早上交出一份全面的行业分析报告。
现有的数据合成方法在合理性和分布一致性方面存在不足，且缺乏自动适配不同数据的能力，扩展性较差。
而马毅是那类觉得不够的人，他于无声处开始提问：智能的本质是什么？自 2000 年从伯克利大学博士毕业以来，马毅先后任职于伊利诺伊大学香槟分校（UIUC）、微软亚研院、上海科技大学、伯克利大学和香港大学，现担任香港大学计算与数据科学学院院长。他和团队提出的压缩感知技术，到现在还在影响计算机视觉中模式识别领域的发展。