
400万token新SOTA!英伟达UIUC联手:兼顾长短上下文顶尖性能
400万token新SOTA!英伟达UIUC联手:兼顾长短上下文顶尖性能来自英伟达和UIUC的华人团队提出一种高效训练方法,将LLM上下文长度从128K扩展至惊人的400万token SOTA纪录!基于Llama3.1-Instruct打造的UltraLong-8B模型,不仅在长上下文基准测试中表现卓越,还在标准任务中保持顶尖竞争力。
来自英伟达和UIUC的华人团队提出一种高效训练方法,将LLM上下文长度从128K扩展至惊人的400万token SOTA纪录!基于Llama3.1-Instruct打造的UltraLong-8B模型,不仅在长上下文基准测试中表现卓越,还在标准任务中保持顶尖竞争力。
就在刚刚,DeepSeek-Prover-V2技术报告也来了!34页论文揭秘了模型的训练核心——递归+强化学习,让数学推理大提升。有人盛赞:DeepSeek已找到通往AGI的正确路径!
由智谱和清华大学联合举办的“地狱级”黑客松 -《2024金融行业·大模型挑战赛》。该黑客松颇为艰困,完全复刻了金融行业二级市场的真实需求。而经过数月奋战,我,作为一名金融市场“门外汉”,在1300+名选手中“杀出一条血路”,最终获得了全国第七名以及10,000元的奖金。
开源大模型新王者,正在受到空前关注。
训练成本高昂已经成为大模型和人工智能可持续发展的主要障碍之一。
今天上午,小米发布了其首个开源推理大模型-Xiaomi MiMo。通过 25 T 预训练 + MTP 加速 + 规则化 RL + Seamless Rollout,让 7 B 参数的 MiMo-7B 在数理推理和代码生成上赶超 30 B-32 B 大模型,并完整 MIT 开源全系列与工程链,给端-云一体 AI 落地提供了“以小博大”的新范例。
在太空行驶了 30 多万公里之后,数据服务公司 Lonestar 的“微型数据中心”进入了月球轨道。这台微型数据中心被搭载在一个名叫“雅典娜”的着陆器上。
AI 版本的「什么值得买」。
一觉醒来,全球开源的王座更替了,不是 R2。好消息是,中国用户依然是最大的受益者。
2023 年 7 月份,我们曾经观察过妙鸭相机靠 AI 写真功能一炮而红,又快速陨落的全过程。而在产品数据下滑的同时,同年 11 月 13 日,妙鸭相机对外确认,产品负责人张月光离职。