AI资讯新闻榜单内容搜索-语言模型

关键词: 大模型,文档截断,模型训练,AI学术

在大型语言模型的训练过程中，数据的处理方式至关重要。

关键词: 模型训练,对齐,大模型,模型量化

随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。

关键词: 模型训练,Flash Attention,GPU,注意力机制

众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。

关键词: SPPO,对齐,模型训练,自我博弈微调,微调

Richard Sutton 在 「The Bitter Lesson」中做过这样的评价：「从70年的人工智能研究中可以得出的最重要教训是，那些利用计算的通用方法最终是最有效的，而且优势巨大。」

关键词: Medusa2,AI,模型训练,LLMs,顺序解码器

传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。

关键词: 大模型,AI应用,AI落地,AI

事实是：基于大语言模型的AI应用创业是地狱难度。我认为可能半年内大部分纯做大语言模型应用的AI创业公司都会死掉。

关键词: Hugging Face,微调,Llama 3,Mistral AI,Mistral,Q-Lora

我们知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 实验室推出的 Jamba 等开源大语言模型已经成为 OpenAI 的竞争对手。

关键词: AI数学,MUSTARD,LLM,大模型, LLMs

近年来，大型语言模型（LLM）在数学应用题和数学定理证明等任务中取得了长足的进步。数学推理需要严格的、形式化的多步推理过程，因此是 LLMs 推理能力进步的关键里程碑， 但仍然面临着重要的挑战。

关键词: AI,AI论坛,AlphaFold,人工智能

人工智能（AI）工具正在改变科学研究的方式。AlphaFold基本解决了蛋白质结构预测难题；DeepMD大大提高了分子模拟的效率和精度；而新兴的大型语言模型，如ChatGPT等，也正在科学研究领域开疆拓土。

关键词: OctopusV3,AI大模型,GPT-4V,GPT-4,多模态模型

多模态 AI 系统的特点在于能够处理和学习包括自然语言、视觉、音频等各种类型的数据，从而指导其行为决策。近期，将视觉数据纳入大型语言模型 (如 GPT-4V) 的研究取得了重要进展，但如何有效地将图像信息转化为 AI 系统的可执行动作仍面临挑战。