来自主题: AI技术研报
3236 点击 2024-11-05 20:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
有了 TEN（Transformative Extensions Network，变革性扩展网络），开发者们终于不用再「绞尽脑汁」了！TEN 是全球首个真正实现实时多模态智能体的框架，不仅能减少开发痛点，还让你轻松从头开始构建下一代 AI 应用。
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！
在互联网下半场，带来的最大冲击是“高获客成本+重用户体验”。
通往AGI的路径只有一条吗？实则不然。这家国产AI黑马认为，「群体智能」或许是一种最佳的尝试。他们正打破惯性思维，打造出最强AI大脑，要让世界每一台设备都有自己的智能。
现在，在 Hugging Face 中，使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容，这要归功于一个 最近的 PR 以及新的 DataCollatorWithFlattening。 它可以在保持收敛质量的同时，将训练吞吐量提高多达 2 倍。继续阅读以了解详细信息！
不开颅，把 ChatGPT 装进脑子里？
尤洋团队新作，首个基于DiT的实时视频生成方法来了！
AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波——