关键词: AI Lab,AlphaGo Zero,LLaMA版o1,模型训练

复刻OpenAI o1推理大模型，开源界传来最新进展： LLaMA版o1项目刚刚发布，来自上海AI Lab团队。

关键词: LLaMA3,AI,大模型,人工智能

LLaMA3-405B的模型效果已经赶上目前最好的闭源模型GPT-4o和Claude-3.5，这可能是未来大模型开源与闭源的拐点，这里就LLaMA3的模型结构、训练过程与未来影响等方面说说我的看法。

关键词: Gemma 2,LLaMA3,开源模型,AI,谷歌AI

谷歌开源模型Gemma 2开放了！ 虽然前段时间Google I/O大会上，Gemma 2开源的消息就已经被放出，但谷歌还留了个小惊喜—— 除27B模型外，还有一个更轻的9B版本。 DeepMind创始人哈萨比斯表示，27B参数规模下，Gemma 2提供了同类模型最强性能，甚至还能与其两倍大的模型竞争。

关键词: LLM,AI搜索,神经架构搜索,LLaMA2-7B,模型训练

大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。

关键词: 模型训练,AI,AI框架,模型部署,LLaMA-3 8B,微调

本文由GreenBit.AI团队撰写，团队的核心成员来自德国哈索·普拉特纳计算机系统工程院开源技术小组。我们致力于推动开源社区的发展，倡导可持续的机器学习理念。我们的目标是通过提供更具成本效益的解决方案，使人工智能技术在环境和社会层面产生积极影响。

关键词: 模型训练,LLaMA3,数据集,RLHF

基于人类反馈的强化学习 (RLHF) 使得大语言模型的输出能够更加符合人类的目标、期望与需求，是提升许多闭源语言模型 Chat-GPT, Claude, Gemini 表现的核心方法之一。

关键词: LLaMA,PaLM,大模型,模型训练,prompt

大模型回答如何更可靠？MIT研究团队设计出「共识博弈」，将数学家常用的博弈论引入LLM改进中。没想到，LLaMA-7B的表现，击败了LLaMA-65B，甚至与PaLM-540B相媲美。

关键词: LLM,LLaMA,NLP, LLaMA2-7B,Transformer

基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复杂度使得大模型的推理成本和内存占用十分巨大，特别是在长序列的场景中。

关键词: LLaMA,Xwin-Math,LLaMA-2-7B,模型训练

数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。

关键词: VisionLLAMA,ViT,LLaMA,模型训练

半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。