ModernBERT 为我们带来了哪些启示？
ModernBERT 为我们带来了哪些启示？当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。
来自主题: AI技术研报
10452 点击 2025-01-31 12:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。
1月13日Mainframe公司发布了可以离线运行在苹果系统（Mac，iPad，iPhone）的本地大语言模型fullmoon: local intelligence
近日，在《金融时报》主编 Roula Khalaf 的最新采访中，谷歌 DeepMind 的 CEO、2024 年诺贝尔化学奖得主 Demis Hassabis 放出了一连串重磅消息
首个FP4精度的大模型训练框架来了，来自微软研究院！
2025 年伊始，全球 AI 业界被 DeepSeek 刷屏。当 OpenAI 宣布 5000 亿美元的「星际之门」计划，Meta 在建规模超 130 万 GPU 的数据中心时，这个来自中国的团队打破了大模型军备竞赛的既定逻辑：用 2048 张 H800 GPU，两个月训练出了一个媲美全球顶尖水平的模型。
"Deepseek R1不就是一个参数更大的语言模型吗？随便问问题就行了，还需要什么特殊技巧？"——当你说出这句话时，是否意识到自己正像《西游记》里高举紫金葫芦的妖怪，对着齐天大圣叫嚣："我叫你的名字，你敢答应吗？"
他们急了！特朗普的AI沙皇和微软纷纷指控DeepSeek「偷窃」数据，DeepSeek不断遭受来自美国IP的不间断大规模攻击。Anthropic CEO更是发出檄文：再不加强对中国的芯片管制，就来不及了！
五角大楼的90天AI计划，正式启动了。美国印太司令部将在实验中，评估AI在现实军事场景中对抗我国等高科技对手的潜力。据悉，重点集中在海军应用上。
相比LLM和Agent领域日新月异、高度成熟的进展相比，数据收集方面的规范有明显滞后。由超过50名研究人员组成的「数据溯源计划」（DPI）旨在回答这样一个问题：AI训练所需的数据究竟来自何处？
这个春节，国产AI引发全球轰动，一家叫做DeepSeek的初创科技公司发布了一款推理模型，不仅能力不输OpenAI的o1，训练成本也远低于国外，各行各业更是跟风尝试。1月27日，DeepSeek超过ChatGPT，成为苹果商店美国区免费应用榜单第一，也登顶中国区免费榜，由于用户突然涌入太多，还出现了短暂宕机。