蚂蚁国产GPU训练大模型细节曝光！Ling模型研发负责人回应：关于我们抠FLOPS的一些点滴
蚂蚁国产GPU训练大模型细节曝光！Ling模型研发负责人回应：关于我们抠FLOPS的一些点滴蚂蚁开源大模型的低成本训练细节，疑似曝光！
来自主题: AI资讯
3586 点击 2025-03-28 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
蚂蚁开源大模型的低成本训练细节，疑似曝光！
强化学习提升了 LLM 各方面的能力，而强化学习本身也在进化。
过去十年，自然语言处理领域经历了从统计语言模型到大型语言模型（LLMs）的飞速发展。
这两年，AI 领域最激动人心的进展莫过于大型语言模型（LLM）的崛起，LLM 展现了惊人的理解和生成能力。
现有RAG工具的碎片化和复杂性常常让开发者头疼不已。昨天我的Agent群里朋友们就Rerank问题展开激烈讨论，我想起之前看到的一篇论文，这项研究介绍了一个完美的开源python工具包Rankify，它将检索、重排序和RAG三大功能整合在一个统一框架中，大幅简化了开发流程。
火，Agent可太火了！关于Agent的进展俯拾皆是，根本看不过来……
作为一家公司，我们专注于三件事：预训练、微调和对齐。我们使用自有数据集进行预训练，这一点非常关键，而很多公司并不具备这样的能力。然后，我们用专家手工整理的数据进行微调。最有趣、最重要的部分在于对齐，这与简单地寻找“当前最优解”是截然不同的。
轨迹可控的视频生成来了，支持三种不同级别的轨迹控制条件——分别为掩码、边界框和稀疏框。研究人员提出了MagicMotion，一种创新的图像到视频生成框架，共同第一作者为复旦大学研究生李全昊、邢桢，通讯作者为复旦大学吴祖煊副教授。
这个号称世界上第一个AI天使投资人的No Cap，由Jeff wilson、Alexander Nevedovsky 和 Slava Solonitsyn打造，并在最近拿到了YC的投资。No Cap号称是通过一个“No Cap Mafia”社区训练出来的。在这个社区里，No Cap会接受很多公司创始人的指导，目前已经有超过60位创始人（他们都是YC的校友）参与其中。
视频作为包含大量时空信息和语义的媒介，对于 AI 理解、模拟现实世界至关重要。视频生成作为生成式 AI 的一个重要方向，其性能目前主要通过增大基础模型的参数量和预训练数据实现提升，更大的模型是更好表现的基础，但同时也意味着更苛刻的计算资源需求。