ModernBERT 为我们带来了哪些启示？
ModernBERT 为我们带来了哪些启示？当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。
来自主题: AI技术研报
10635 点击 2025-01-31 12:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。
1月13日Mainframe公司发布了可以离线运行在苹果系统（Mac，iPad，iPhone）的本地大语言模型fullmoon: local intelligence
近日，在《金融时报》主编 Roula Khalaf 的最新采访中，谷歌 DeepMind 的 CEO、2024 年诺贝尔化学奖得主 Demis Hassabis 放出了一连串重磅消息
2025 年伊始，全球 AI 业界被 DeepSeek 刷屏。当 OpenAI 宣布 5000 亿美元的「星际之门」计划，Meta 在建规模超 130 万 GPU 的数据中心时，这个来自中国的团队打破了大模型军备竞赛的既定逻辑：用 2048 张 H800 GPU，两个月训练出了一个媲美全球顶尖水平的模型。
"Deepseek R1不就是一个参数更大的语言模型吗？随便问问题就行了，还需要什么特殊技巧？"——当你说出这句话时，是否意识到自己正像《西游记》里高举紫金葫芦的妖怪，对着齐天大圣叫嚣："我叫你的名字，你敢答应吗？"
他们急了！特朗普的AI沙皇和微软纷纷指控DeepSeek「偷窃」数据，DeepSeek不断遭受来自美国IP的不间断大规模攻击。Anthropic CEO更是发出檄文：再不加强对中国的芯片管制，就来不及了！
这个春节，国产AI引发全球轰动，一家叫做DeepSeek的初创科技公司发布了一款推理模型，不仅能力不输OpenAI的o1，训练成本也远低于国外，各行各业更是跟风尝试。1月27日，DeepSeek超过ChatGPT，成为苹果商店美国区免费应用榜单第一，也登顶中国区免费榜，由于用户突然涌入太多，还出现了短暂宕机。
梁文锋带领着DeepSeek，还在继续搅动大模型行业。继用R1模型炸场之后，1月28日凌晨，除夕夜前一晚，DeepSeek又开源了其多模态模型Janus-Pro-7B，宣布在GenEval和DPG-Bench基准测试中击败了DALL-E 3（来自 OpenAI）和Stable Diffusion。
DeeSeek R1横空出世撼动了整个硅谷，这波AI恐惧仍在蔓延扩散。奥特曼、OpenAI首席研究官不得不发文承认DeeSeek的技术突破，预告未来会加快新模型的发布。与此同时，研究人员们也纷纷展开了对DeepSeek技术的深入分析。
世界首个不用编码AI工程师Heyboss横空出世！一句话创建超级应用，99%人也能当程序员。最近，初创Heyboss AI官宣了AI非编码工具Heyboss，专为代码小白量身打造。