AI长文本之战：Kimi快跑，大厂围剿 | 焦点分析
AI长文本之战：Kimi快跑，大厂围剿 | 焦点分析Kimi的难题是商业模式，大厂的难题是获客。
来自主题: AI资讯
8169 点击 2024-03-28 16:58
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Kimi的难题是商业模式，大厂的难题是获客。
上下文长度真的能形成护城河吗？
Kimi有多火爆？凭一己之力搅乱A股和大模型圈。Kimi概念股连日引爆资本市场，多个概念股随之涨停。在一片看好的态势中，谁都想来沾个边，据光锥智能不完全统计，目前，至少有包括读客文化、掌阅科技、万兴科技等在内的十家上市公司发布公告透露正在了解或接入了Kimi 智能助手。
“据我了解，国内多个一线大模型机构，都已经突破了兆级的长文本能力。”以上，是“2024全球开发者先锋大会”大模型前沿论坛会间隙，上海人工智能实验室领军科学家林达华与量子位的交谈剪影。
AGI时代，越来越近了。本月，中国初创AGI（通用人工智能）公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量，与五个月前该大模型初次亮相时的20万字相比，提升十倍。Kimi Chat的升级彻底引爆市场，同时也引起长文本大模型（Long-LLM）细分赛道更加激烈的竞争。
一直以来，我都习惯于用各种各样的外部工具辅助自己的科研全过程。从论文阅读、文献查找、公式理解，再到论文润色，AI工具都能在不同程度地帮上我。
挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。
Transformer的固定尺寸上下文使得GPT模型无法生成任意长的文本。在本文中，我们介绍了RECURRENTGPT，一个基于语言的模拟RNN中的递归机制。
来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。
现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。