Token已死？AI认知的新范式正在崛起
Token已死？AI认知的新范式正在崛起就在OpenAI热闹的12天发布会刚刚落下帷幕，谷歌的火力全开新模型Voe2和Gemnini2吸引了全球AI开发者的眼球时，Meta作为三巨头之一则在筹划着一场静悄悄的革命。
来自主题: AI技术研报
7120 点击 2024-12-27 10:23
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
就在OpenAI热闹的12天发布会刚刚落下帷幕，谷歌的火力全开新模型Voe2和Gemnini2吸引了全球AI开发者的眼球时，Meta作为三巨头之一则在筹划着一场静悄悄的革命。
1822 年，电学之父法拉第在日记中写到“既然通电能够产生磁力，为什么不能用磁铁产生电流呢？我一定要反过来试试！”。于是在 1831 年，第一台发电机被发明，推动了人类进入电气化时代。
最近，类 o1 模型的出现，验证了长思维链 (CoT) 在数学和编码等推理任务中的有效性。在长思考（long thought）的帮助下，LLM 倾向于探索、反思和自我改进推理过程，以获得更准确的答案。
大模型中，线性层的低比特量化已经逐步落地。然而，对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。并且，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为主要开销。
o3在超难推理任务ARC-AGI上的成绩，属实给人类带来了不少震撼。 但有人专门研究了它不会做的题之后，有了更有趣的发现—— o3之所以不会做这些题，原因可能不是因为太难，而是题目的规模太大了。
无需额外模型训练、即插即用，全新的视频生成增强算法——Enhance-A-Video来了！
两年前，ChatGPT横空出世，掀起一场超强的“AI旋风”；最近，OpenAI用连续12天的发布会再次让全球进入“AI狂欢”。但不同于两年前的震惊、兴奋与困惑，今天的学界和产业界对于AGI路线有了更多的“中国思考”。
对 AI 研究者来说，数学既是一类难题，也是一个标杆，能够成为衡量 AI 技术的发展重要尺度。近段时间，随着 AI 推理能力的提升，使用 AI 来证明数学问题已经成为一个重要的研究探索方向。
研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re-ID、跨模态Re-ID以及特殊Re-ID场景，提出了Transformer基线UntransReID，设计动物Re-ID的标准化基准测试，为未来Re-ID研究提供新手册。
OpenAI 代号为 Orion 的新 AI 项目遇到了一个又一个问题。