AI资讯新闻榜单内容搜索-大型语言模型

关键词: 大模型,模型训练

本综述深入探讨了大型语言模型的资源高效化问题。

关键词: LLM,StreamingLLM

在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共 400 万个 token 的流式输入，22.2 倍的推理速度提升。

关键词: 大模型,LLM,GPT-4

大型语言模型（LLM）虽然在诸多下游任务上展现出卓越的能力，但其实际应用还存在一些问题。其中，LLM 的「幻觉（hallucination）」问题是一个重要缺陷。

关键词: AI,价值对齐,人工智能

2023年，以ChatGPT为代表的大型语言模型（LLM）集中爆发，让各界都看到人工智能全新的可能性。但期冀总是与担忧并存，随着大模型在各领域的应用深化，已经沉寂许久的“AI威胁论”又开始甚嚣尘上。在漫长的技术史中，技术恐惧如同摆脱不了的阴影，总是与技术发展随行。

关键词: FunSearch,AI数学,AI推理

DeepMind的研究团队开发了一款基于大型语言模型的人工智能系统，名为FunSearch，可以在数学和计算机科学中生成新的解。通过迭代中的进化，FunSearch能够解决复杂的数学问题，并发现新的数学知识和算法。这种基于大型语言模型的人工智能系统不仅能超越人类数学家，而且比现有的方法更有效。

关键词: RLHF,LLM,LLM遗忘学习

随着大型语言模型（LLM）的发展，从业者面临更多挑战。如何避免 LLM 产生有害回复？如何快速删除训练数据中的版权保护内容？如何减少 LLM 幻觉（hallucinations，即错误事实）? 如何在数据政策更改后快速迭代 LLM？这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下，对于 LLM 的安全可信部署至关重要。

关键词: GPT-4,扩散模型,GPT4Motion

来自中国科学院深圳先进技术研究院、中国科学院大学和 VIVO AI Lab 的研究者联合提出了一个无需训练的文本生成视频新框架 ——GPT4Motion。GPT4Motion 结合了 GPT 等大型语言模型的规划能力、Blender 软件提供的物理模拟能力，以及扩散模型的文生图能力，旨在大幅提升视频合成的质量。

关键词: 大语言模型,AI汽车,自动驾驶

今年，大型语言模型改变了自动驾驶技术路线的竞争格局。特斯拉开始探索自动驾驶的世界模型，而中国企业加速推进自动驾驶技术，超过美国。

关键词: AI大模型,LLMs,AI

在深度学习时代，尤其是随着大型语言模型（LLMs）的出现，大多数研究人员的注意力都集中在追求新的最先进（SOTA）结果上，使得模型规模和计算复杂性不断增加。

关键词: 微调,逐步微调,Distilling Step-by-Step,LLMs

大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步微调（Distilling Step-by-Step）的方法帮助模型训练。