Llama都在用的RoPE有了视频版，复旦上海AI Lab等提出长视频理解/检索绝佳拍档
Llama都在用的RoPE有了视频版，复旦上海AI Lab等提出长视频理解/检索绝佳拍档Llama都在用的RoPE（旋转位置嵌入）被扩展到视频领域，长视频理解和检索更强了。
来自主题: AI技术研报
3615 点击 2025-02-20 10:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Llama都在用的RoPE（旋转位置嵌入）被扩展到视频领域，长视频理解和检索更强了。
在马斯克发布了他用20万张卡训出的Grok3的同一天，两篇与马氏大力出奇迹“相反”路线的论文也发表在了技术社区。在这两篇论文的作者名目里，各自有一个大家熟悉的名字：梁文锋，杨植麟。
DeepSeek新注意力机制论文一出，再次引爆讨论热度。
过去一年，3D 生成技术迎来爆发式增长。在大场景生成领域，涌现出一批 “静态大场景生成” 工作，如 SemCity [1]、PDD [2]、XCube [3] 等。这些研究推动了 AI 利用扩散模型的强大学习能力来解构和创造物理世界的趋势。
“凡我无法创造的，我就无法真正理解。” -- 费曼
离开OpenAI后，他们俩把ChatGPT后训练方法做成了PPT，还公开了～
Transformer 架构在过去几年中通过注意力机制在多个领域（如计算机视觉、自然语言处理和长序列任务）中取得了非凡的成就。然而，其核心组件「自注意力机制」 的计算复杂度随输入 token 数量呈二次方增长，导致资源消耗巨大，难以扩展到更长的序列或更大的模型。
我们正见证一场静默的推理革命。传统AI训练如同盲人摸象，依赖碎片化文本拼凑认知图景，DeepSeek-AI团队的CODEI/O范式首次让机器真正"理解"了推理的本质——它将代码执行中蕴含的逻辑流，转化为可解释、可验证的思维链条，犹如为AI装上了解剖推理过程的显微镜。
RedStone是一个高效构建大规模指定领域数据的处理管道，通过优化数据处理流程，从Common Crawl中提取了RedStone-Web、RedStone-Code、RedStone-Math和RedStone-QA等数据集，在多项任务中超越了现有开源数据集，显著提升了模型性能。
强化学习训练数据越多，模型推理能力就越强？新研究提出LIM方法，揭示提升推理能力的关键在于优化数据质量，而不是数据规模。该方法在小模型上优势尽显。从此，强化学习Scaling Law可能要被改写了！