AGI时代，越来越近了。本月，中国初创AGI（通用人工智能）公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量，与五个月前该大模型初次亮相时的20万字相比，提升十倍。Kimi Chat的升级彻底引爆市场，同时也引起长文本大模型（Long-LLM）细分赛道更加激烈的竞争。
一直以来，我都习惯于用各种各样的外部工具辅助自己的科研全过程。从论文阅读、文献查找、公式理解，再到论文润色，AI工具都能在不同程度地帮上我。
挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。
Transformer的固定尺寸上下文使得GPT模型无法生成任意长的文本。在本文中，我们介绍了RECURRENTGPT，一个基于语言的模拟RNN中的递归机制。
来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。
现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。
今天，Moonshot AI 带着首个支持输入 20 万汉字的智能助手产品Kimi Chat 与大家见面了。 据我们所知，这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度，标志着 Moonshot AI 在“长文本”这一重要技术上取得了世界领先水平。
