FBI-LLM低比特基础大语言模型来了,首个完全从头训练的二值化语言模型
FBI-LLM低比特基础大语言模型来了,首个完全从头训练的二值化语言模型自回归训练方式已经成为了大语言模型(LLMs)训练的标准模式, 今天介绍一篇来自阿联酋世界第一所人工智能大学MBZUAI的VILA实验室和CMU计算机系合作的论文,题为《FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation》
搜索
自回归训练方式已经成为了大语言模型(LLMs)训练的标准模式, 今天介绍一篇来自阿联酋世界第一所人工智能大学MBZUAI的VILA实验室和CMU计算机系合作的论文,题为《FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation》
近日,MIT CSAIL 的一个研究团队(一作为 MIT 在读博士陈博远)成功地将全序列扩散模型与下一 token 模型的强大能力统合到了一起,提出了一种训练和采样范式:Diffusion Forcing(DF)。
具身智能狂潮降临的一年多里,物理世界与信息的生产与交互方式发生着革命性变化。
一切仍处于混乱摸索中,这也许也是好事。
针对视觉-语言预训练(Vision-Language Pretraining, VLP)模型的对抗攻击,现有的研究往往仅关注对抗轨迹中对抗样本周围的多样性,但这些对抗样本高度依赖于代理模型生成,存在代理模型过拟合的风险。
Fidelity-Scalability-Controllability-Accessibility (真实度-可扩展性-可控性-可用性)是生成式 AI 领域一个很好的研究方法论。会有更多像AnimateDiff这样的技术推动视频生成的广泛应用。
当Ilya Sutskever 离开 OpenAI 重归大众视野,带着他名为 SSI(Safe Superintelligence Inc.) 的新公司。
2024年AI人才争夺战硝烟弥漫战况升级,马斯克与OpenAI纠葛不断再结新梁子,就在xAI完成巨额融资前,核心成员Kosic竟重返OpenAI。
刚刚,信息检索领域的国际顶会SIGIR 2024,公布了最终获奖结果。在所有获奖名单中,来自清华计算机系的团队们斩获了两大奖项——时间检验奖、最佳论文奖,实至名归!
生成式 AI 碰撞上自动驾驶技术,会产生怎样的火花?过去,生成式 AI 在业界已经被用来解决自动驾驶的长尾问题。目前,学界开始尝试在算法仿真领域引入多 Agent 数据集来增强仿真的效果。