原来，这些顶级大模型都是蒸馏的
原来，这些顶级大模型都是蒸馏的「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。
来自主题: AI技术研报
9531 点击 2025-01-29 13:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。
昨晚，杭州大模型又双叒不睡，给大伙儿拜年啦～就在春晚直播进行时，阿里通义Qwen发布新春节礼第三弹：Qwen2.5-Max来袭，多个基准测试中超越当红炸子鸡DeepSeek V3。
今天（1月28日）凌晨，国内火爆的AI大模型公司深度求索（DeepSeek）称遭受大规模恶意攻击。据悉，DeepSeek旗下AI（人工智能）服务在24小时内经历多次宕机。
VARGPT是一种新型多模态大模型，能够在单一框架内实现视觉理解和生成任务。通过预测下一个token完成视觉理解，预测下一个scale完成视觉生成，展现出强大的混合模态输入输出能力。
谈到大模型的“国货之光”，除了DeepSeek之外，阿里云Qwen这边也有新动作——首次将开源Qwen模型的上下文扩展到1M长度。
最近，AI界被推理模型刷屏了。国内各家的推理模型，在新年到来之际不断刷新我们的认知。不过，当我们在实际应用中考量大模型，衡量好不好用的标准，就绝不仅仅局限于其性能和规模了。
研究人员首次探讨了大型语言模型（LLMs）在问题生成任务中的表现，与人类生成的问题进行了多维度对比，结果发现LLMs倾向于生成需要较长描述性答案的问题，且在问题生成中对上下文的关注更均衡。
实际上 Operator 只是最近一段时间，全球大模型公司智能体集中发布浪潮的一部分。早于 Operator 发布前两天，字节跳动豆包大模型团队就已经公布了同类型智能体：UI-TARS。
2023年的大模型市场是昂扬的、争先恐后的。2024年的大模型市场是放缓的、冷静取舍的。而在春节前的这一周多时间里，大模型公司们似乎回到了两年前的兴奋状态，一天不止一个重大发布。
1月23日，在第55届世界经济论坛(冬季达沃斯)上,“深度学习”三巨头之一、图灵奖得主、Meta AI首席科学家杨立昆（Yann LeCun），如此对腾讯新闻《一线》透露Meta2025年在AI领域的投资规模。