本文是一篇发表在 NeurIPS 2024 上的论文，单位是香港大学、Sea AI Lab、Contextual AI 和俄亥俄州立大学。论文主要探讨了大型语言模型（LLMs）的词表大小对模型性能的影响。
RAG（Retrieval-Augmented Generation）是一种结合信息检索与文本生成的技术，旨在提高大型语言模型（LLM）在回答复杂查询时的表现。它通过检索相关的上下文信息来增强生成答案的质量和准确性。解读RAG测评：关键指标与应用分析
Transformer 的强大实力已经在诸多大型语言模型（LLM）上得到了证明，但该架构远非完美，也有很多研究者致力于改进这一架构，比如机器之心曾报道过的 Reformer 和 Infini-Transformer。
知名开源数据科学平台提供商Anaconda 今天宣布推出AI Navigator，这是一款新型桌面应用程序，允许用户在笔记本电脑或个人电脑上本地运行一系列人工智能应用的大型语言模型（LLMs），而无需将任何数据发送到云服务器。
在人工智能的世界里，大型语言模型（LLM）已经成为我们探索未知、解决问题的得力助手。但是，你在编写AI提示词时，是否觉得这个过程就像在“炼丹”，既神秘又难以掌握？别担心，自动提示工程（APE）来帮你了！
Google DeepMind的SCoRe方法通过在线多轮强化学习，显著提升了大型语言模型在没有外部输入的情况下的自我修正能力。该方法在MATH和HumanEval基准测试中，分别将自我修正性能提高了15.6%和9.1%。
科学技术的快速发展过程中，机器学习研究作为创新的核心驱动力，面临着实验过程复杂、耗时且易出错，研究进展缓慢以及对专门知识需求高的挑战。近年来，LLM 在生成文本和代码方面展现出了强大的能力，为科学研究带来了前所未有的可能性。然而，如何系统化地利用这些模型来加速机器学习研究仍然是一个有待解决的问题。
NVLM 1.0系列多模态大型语言模型在视觉语言任务上达到了与GPT-4o和其他开源模型相媲美的水平，其在纯文本性能甚至超过了LLM骨干模型，特别是在文本数学和编码基准测试中，平均准确率提高了4.3个百分点。
斯坦福大学的最新研究通过大规模实验发现，尽管大型语言模型（LLMs）在新颖性上优于人类专家的想法，但在可行性方面略逊一筹，还需要进一步研究以提高其实用性。
大型语言模型（LLMs）虽然进展很快，很强大，但是它们仍然存在会产生幻觉、生成有害内容和不遵守人类指令等问题。一种流行的解决方案就是基于【自我纠正】，大概就是看自己输出的结果，自己反思一下有没有错，如果有错就自己改正。目前自己纠正还是比较关注于让大模型从错误中进行学习。
