关键词: AI,AI套壳,清华大模型,Llama 3-V,HuggingFace,MiniCPM

面壁智能回应：“深表遗憾”，这也是一种“受到国际团队认可的方式”。

关键词: AI,AI套壳,清华大模型,Llama 3-V,HuggingFace,MiniCPM

大模型抄袭丑闻总是不断。

关键词: 模型训练,token,next-token,GPT,Llama

研究人员提出了一种新的大型语言模型训练方法，通过一次性预测多个未来tokens来提高样本效率和模型性能，在代码和自然语言生成任务上均表现出显著优势，且不会增加训练时间，推理速度还能提升至三倍。

关键词: LLM,Llama 2,大语言模型,Transformer,token

在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。

关键词: Mixtral,Llama 3,Phi-3,OpenELM,大模型

深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。

关键词: 编程大模型,Mistral,Code Llama,Codestral

开放但禁止商用用途。

关键词: 编程大模型,Mistral,Code Llama,Codestral

开源代码大模型的王座，再次易主！ 来自素有“欧洲OpenAI”之称的Mistral，用22B参数量表现超越了70B的Code Llama。

关键词: MoE,Llama3,token,AI框架

每个token只需要5.28%的算力，精度就能全面对标Llama 3。

关键词: 马斯克,Llama 3,AI,MoE,xAI,H100

马斯克最近哭穷表示，xAI需要部署10万个H100才能训出Grok 3，影响全球的大模型算力荒怎么解？昨天开源的这款MoE大模型，只用了1/19算力、1/19激活参数，性能就直接全面对标Llama 3-70B！

关键词: Karpathy,Llama 3,模型部署,模型训练

Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注。代码非常详细地展现了Llama所使用的Transformer架构，甚至让Andrej Karpathy亲自下场「背书」。