陈丹琦团队新作:Llama-2上下文扩展至128k,10倍吞吐量仅需1/6内存 关键词: Llama-2,羊驼大模型,上下文限制,CEPE,并行编码上下文扩展 陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法:它仅用8k大小的token文档进行训练,就能将Llama-2窗口扩展至128k。 来自主题: AI技术研报 8520 点击 2024-02-29 13:27
面向超长上下文,大语言模型如何优化架构,这篇综述一网打尽了 关键词: 大模型,上下文限制,AI,LLM 作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。 来自主题: AI资讯 3735 点击 2024-01-03 13:38