AI资讯新闻榜单内容搜索-分层索引稀疏注意力

关键词: AI新闻,模型训练,HISA,分层索引稀疏注意力

就在大家都急头白脸地等待DeepSeek-V4的时候，冷不丁一篇新论文引起了网友们的注意—— 提出新稀疏注意力机制HISA（分层索引稀疏注意力），突破64K上下文的索引瓶颈，相比DeepSeek正在用的DSA（DeepSeek Sparse Attention）提速2-4倍。