ModernBERT 为我们带来了哪些启示？
ModernBERT 为我们带来了哪些启示？当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。
来自主题: AI技术研报
9638 点击 2025-01-31 12:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。
近日，在《金融时报》主编 Roula Khalaf 的最新采访中，谷歌 DeepMind 的 CEO、2024 年诺贝尔化学奖得主 Demis Hassabis 放出了一连串重磅消息
2025 年伊始，全球 AI 业界被 DeepSeek 刷屏。当 OpenAI 宣布 5000 亿美元的「星际之门」计划，Meta 在建规模超 130 万 GPU 的数据中心时，这个来自中国的团队打破了大模型军备竞赛的既定逻辑：用 2048 张 H800 GPU，两个月训练出了一个媲美全球顶尖水平的模型。
这个春节，国产AI引发全球轰动，一家叫做DeepSeek的初创科技公司发布了一款推理模型，不仅能力不输OpenAI的o1，训练成本也远低于国外，各行各业更是跟风尝试。1月27日，DeepSeek超过ChatGPT，成为苹果商店美国区免费应用榜单第一，也登顶中国区免费榜，由于用户突然涌入太多，还出现了短暂宕机。
梁文锋带领着DeepSeek，还在继续搅动大模型行业。继用R1模型炸场之后，1月28日凌晨，除夕夜前一晚，DeepSeek又开源了其多模态模型Janus-Pro-7B，宣布在GenEval和DPG-Bench基准测试中击败了DALL-E 3（来自 OpenAI）和Stable Diffusion。
据参考消息援引美媒报道，美国海军基于“潜在安全和道德问题”，已要求人员避免以任何形式使用中国公司的DeepSeek模型。另据@玉渊潭天 消息，当地时间1月28日，美国多名官员回应DeepSeek对美国的影响，表示DeepSeek是“偷窃”，正对其影响开展国家安全调查。
DeepSeek、迅雷、虎扑其实都在思考同一个问题：数字时代发展到当下，科技行业应该何去何从？龙年年底，科技界和体育界分别迎来两宗大事件——2025年1月20日，DeepSeek-R1开源人工智能模型发布；2025年1月27日，迅雷宣布作价5亿元人民币收购体育媒体及数据平台虎扑。
昨晚，杭州大模型又双叒不睡，给大伙儿拜年啦～就在春晚直播进行时，阿里通义Qwen发布新春节礼第三弹：Qwen2.5-Max来袭，多个基准测试中超越当红炸子鸡DeepSeek V3。
今天（1月28日）凌晨，国内火爆的AI大模型公司深度求索（DeepSeek）称遭受大规模恶意攻击。据悉，DeepSeek旗下AI（人工智能）服务在24小时内经历多次宕机。
2025年1月26日，拾象创始人兼CEO李广密，组织了一场关于 DeepSeek的闭门讨论会，嘉宾包括数十位顶尖AI研究员、投资人与一线 AI 从业者，围绕DeepSeek的技术细节、组织文化以及其出圈后的短中长期影响等，进行了探讨与学习。