搜索
YOLO 系列模型的结构创新一直围绕 CNN 展开，而让 transformer 具有统治优势的 attention 机制一直不是 YOLO 系列网络结构改进的重点。这主要的原因是 attention 机制的速度无法满足 YOLO 实时性的要求。
新年第一天，陈天奇团队的FlashInfer论文出炉！块稀疏、可组合、可定制、负载均衡......更快的LLM推理技术细节全公开。
大模型中，线性层的低比特量化已经逐步落地。然而，对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。并且，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为主要开销。
大模型如今已具有越来越长的上下文，而与之相伴的是推理成本的上升。英伟达最新提出的Star Attention，能够在不损失精度的同时，显著减少推理计算量，从而助力边缘计算。
随着scaling law撞墙新闻爆出，全球科技圈、资本市场关于大模型发展触及天花板的讨论愈演愈烈。那么，AI发展是否放缓？后续又将如何发展？商业模式如何突破？
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！
通往AGI的路径只有一条吗？实则不然。这家国产AI黑马认为，「群体智能」或许是一种最佳的尝试。他们正打破惯性思维，打造出最强AI大脑，要让世界每一台设备都有自己的智能。
现在，在 Hugging Face 中，使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容，这要归功于一个 最近的 PR 以及新的 DataCollatorWithFlattening。 它可以在保持收敛质量的同时，将训练吞吐量提高多达 2 倍。继续阅读以了解详细信息！
尤洋团队新作，首个基于DiT的实时视频生成方法来了！