关键词: 三进制,LLM,大模型论文,BitNet b1.58

今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。

关键词: LLM,大模型论文,BitNet b1.58,三进制

现在，大语言模型（LLM）迎来了“1-bit时代”。

关键词: Sora,自回归LLM,世界模型,世界模拟器

最近几天，Sora 成为了全世界关注的焦点。与之相关的一切，都被放大到极致。

关键词: GPT-4,Gemini,DeepMind,LLM

谷歌DeepMind最新研究发现，问题中前提条件的呈现顺序，对于大模型的推理性能有着决定性的影响，打乱顺序能让模型表现下降30%。

关键词: Karpathy,AI课程,LLM分词

「从头开始构建GPT分词器」文字版来了。

关键词: GPT-4,LLM,AI数据科学

终有一天，LLM可以成为人类数据专家，针对不同领域进行数据分析，大大解放AI研究员。

关键词: Transformer,Searchformer,LLM,模型训练

最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。

关键词: LLM,大型语言模型,模型训练,AI研究

在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。

关键词: 推测解码,GPT-4,LLM,Transformer

推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。

关键词: AI配音版,Sora,ElevenLabs,LLM

Sora突破之后的突破又来了！语音初创公司ElevenLabs放大招，直接用AI给Sora经典视频完成了配音。网友惊呼离AI完全生成电影又近了一步。