原来，这些顶级大模型都是蒸馏的
原来，这些顶级大模型都是蒸馏的「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。
来自主题: AI技术研报
7980 点击 2025-01-29 13:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。
时隔不到一个月，DeepSeek又一次震动全球AI圈。去年 12 月，DeepSeek推出的DeepSeek-V3在全球AI领域掀起了巨大的波澜，它以极低的训练成本，实现了与GPT-4o和Claude Sonnet 3.5等顶尖模型相媲美的性能，震惊了业界。
字节最近推出了一款名为 Trae 的 AI 编程工具，面向海外的AI中文开发环境IDE。号称实现了从Copilot向Autopilot的演进。该工具可选择简体中文或英文，并内置了GPT-4o、Claude-3.5-Sonnet模型供免费使用。
人类仅剩2-3年时间了！Anthropic首席执行官Dario Amodei独家采访，一口气爆料一连串AI重磅消息，并在最后给出了对于职场年轻人的建议。
模型蒸馏也有「度」，过度蒸馏，只会导致模型性能下降。最近，来自中科院、北大等多家机构提出全新框架，从两个关键要素去评估和量化蒸馏模型的影响。结果发现，除了豆包、Claude、Gemini之外，大部分开/闭源LLM蒸馏程度过高。
AI 编程工具的发展令人目不暇接。从年初 Devin 这款被称为“首个真正的 AI工程师”的产品发布，到年中 Anthropic 在 Claude 3.5 Sonnet 模型推出「Artifacts」功能的重大突破，再到 Cursor、Windsurf 等新一代 IDE 的崛起，AI 正在重塑程序员的工作方式。
AI编程蓝皮书火了，发布3天，阅读量超过3万！
名称：认知边界拓宽器 Cognition Boundary Expander
测试共振式写法的一例, 科幻小说 Prompt。 Happy Prompting.取刘慈欣短篇小说《朝闻道》的故事梗概作为测试内容。输入：外星人降临地球，他们宣称已经掌握了宇宙的终极答案，但人类不能免费获得，需要拿自己的一条命，获得一次提问答案的机会。现在选择权到了人类科学家的手中。
不断迭代简单的提示词「write better code」，代码生成任务直接提速100倍！不过「性能」并不是「better」的唯一标准，还需要辅助适当的提示工程，也是人类程序员的核心价值所在。