相信很多朋友都看过这篇论文,在 2023 年 3 月,一支来自加拿大滑铁卢大学、清华大学和新加坡管理大学的团队,发表了一篇大模型综述《A Survey of Large Language Models》.
相信很多朋友都看过这篇论文,在 2023 年 3 月,一支来自加拿大滑铁卢大学、清华大学和新加坡管理大学的团队,发表了一篇大模型综述《A Survey of Large Language Models》.
在大算力的数字化时代下,大语言模型(LLM)以其令人瞩目的发展速度,正引领着技术的潮流
在2023年的「百模大战」中,众多实践者推出了各类模型,这些模型有的是原创的,有的是针对开源模型进行微调的;有些是通用的,有些则是行业特定的。如何能合理地评价这些模型的能力,成为关键问题
Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力,虽然存在线性注意力和状态空间模型等次二次解决方案
从国际顶流 GPT-4 128K、Claude 200K 到国内「当红炸子鸡」支持 200 万字上下文的 Kimi Chat,大语言模型(LLM)在长上下文技术上不约而同地卷起来了
生成式人工智能(Generative Artificial Intelligence,简称生成式 AI)是 AI 的一种形式,可以生成从论文到视频等任何东西,协助人类处理信息和数据。生成式人工智能的引入,特别是 ChatGPT 等「大型语言模型」(LLM) 聊天机器人的引入,使得许多人预测这项新技术将改变现有的教育模式。
人工智能模型在对话说服力方面表现如何?
近,来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大语言模型 (LLMs) 上应用,并提出了一个全新的视角
为解决大模型(LLMs)在处理超长输入序列时遇到的内存限制问题,本文作者提出了一种新型架构:Infini-Transformer,它可以在有限内存条件下,让基于Transformer的大语言模型(LLMs)高效处理无限长的输入序列。实验结果表明:Infini-Transformer在长上下文语言建模任务上超越了基线模型,内存最高可节约114倍。
在实践中,人类预测的准确性依赖于「群体智慧」(wisdom of the crowd)效应,即通过聚集一群个体预测者,对未来事件的预测准确率会显著提高