AI资讯新闻榜单内容搜索-长文本

关键词: AI,GPU,大模型,树注意力,模型训练

跨GPU的注意力并行，最高提速8倍，支持512万序列长度推理。

关键词: 大模型,AI,模型训练,人工智能

在长文本理解能力这块，竟然没有一个大模型及格！

关键词: LLM,微调,LongRoPE,模型训练,上下文

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token

关键词: 讯飞星火,科大讯飞,长文本,星火图文,AI,国产大模型

4 月 26 日，科大讯飞发布讯飞星火大模型 V3.5 的功能上新，其中一个重点就是面向用户各种场景中高效获取信息需求，发布首个长文本、长图文、长语音的大模型，能够支持文档、图文资料、会议录音等各种信息来源的快速理解和学习，还能够结合各种行业场景知识给出专业、准确回答。

关键词: 讯飞星火,超级知识,AI助手,智能体平台

这一次，大模型真的可以让人类解放双手了。

关键词: 讯飞星火,科大讯飞,长文本,星火图文,AI,国产大模型

4 月 26 日，科大讯飞发布讯飞星火大模型 V3.5 的功能上新，其中一个重点就是面向用户各种场景中高效获取信息需求，发布首个长文本、长图文、长语音的大模型，能够支持文档、图文资料、会议录音等各种信息来源的快速理解和学习，还能够结合各种行业场景知识给出专业、准确回答。

关键词: AI,AI大模型,长文本,Kimi,月之暗面

2024年AI（人工智能）大模型行业的第一场竞争热潮，从长文本开始。

关键词: Meta,模型训练,大模型,Transformers,LLM

Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案

关键词: 360AI,360Zhinao-7B,周鸿祎,国产大模型

继之前公开课之后（周鸿祎：2024 年 AI 产业发展的 16 个趋势。）红衣大叔兑现诺言，开源了 7B 系列大模型

关键词: 长文本,谷歌AI,transformer,模型训练

通过这项技术，能使transformer大模型在有限的计算资源 条件下，处理无限长度的输入。