来自UIUC等大学的华人团队，从LLM的基础机制出发，揭示、预测并减少幻觉！通过实验，研究人员揭示了LLM的知识如何相互影响，总结了幻觉的对数线性定律。更可预测、更可控的语言模型正在成为现实。
近年来，大语言模型（LLM）的性能提升逐渐从训练时规模扩展转向推理阶段的优化，这一趋势催生了「测试时扩展（test-time scaling）」的研究热潮。
语言是离散的，所以适合用自回归模型来生成；而图像是连续的，所以适合用扩散模型来生成。在生成模型发展早期，这种刻板印象广泛存在于很多研究者的脑海中。
大型语言模型 (LLM) 在软体机器人设计领域展现出了令人振奋的应用潜力。
在人工智能飞速发展的今天，LLM 的能力令人叹为观止，但其局限性也日益凸显 —— 它们往往被困于训练数据的「孤岛」，无法直接触及实时信息或外部工具。
最新研究发现，LLM在面对人格测试时，会像人一样「塑造形象」，提升外向性和宜人性得分。AI的讨好倾向，可能导致错误的回复，需要引起警惕。
大模型虽然推理能力增强，却常常「想太多」，回答简单问题也冗长复杂。Rice大学的华人研究者提出高效推理概念，探究了如何帮助LLM告别「过度思考」，提升推理效率。
当大多数AI Agent仍在挣扎于结构化推理能力不足的困境时，本文带来了一个来自认知科学领域的突破性解决方案。
简单的任务，传统的Transformer却错误率极高。Meta FAIR团队重磅推出多token注意力机制（MTA），精准捕捉复杂信息，带来模型性能飞升！
视觉Token可以与LLMs词表无缝对齐了！
