1972年12月，在美国华盛顿特区举行的美国科学促进会年会上，麻省理工学院气象学教授埃德·洛伦兹发表了题为「巴西一只蝴蝶的煽动是否会在德克萨斯引发龙卷风？」的演讲，这贡献了「蝴蝶效应」这一术语。
虽然大型语言模型（LLM）在各种常见的自然语言处理任务中展现出了优异的性能，但随之而来的幻觉，也揭示了模型在真实性和透明度上仍然存在问题。
2022年末，ChatGPT惊艳了世人，留下了急火攻心的“AI先行者”Google。
硅谷的人才争夺战愈演愈烈。
通过这项技术，能使transformer大模型在有限的计算资源 条件下，处理无限长度的输入。
它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文
谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。
谷歌最强大模型Gemini 1.5 Pro今天起，“全面”对外开放。 目前完全免费，开发者可以通过API调用的方式使用，普通玩家也可以在谷歌AI Studio中直接体验。
谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。
谷歌就此成为了第一家因为训练数据而被罚款的人工智能公司。
