大模型推理成本排行榜来了：贾扬清公司效率领跑
大模型推理成本排行榜来了：贾扬清公司效率领跑风投烧完之后，哪些大模型创业公司会开始盈利？
来自主题: AI资讯
5913 点击 2024-01-26 13:54
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
风投烧完之后，哪些大模型创业公司会开始盈利？
去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。
该算法现已在GitHub上开源，相关论文公布在ARXIV。近日，蚂蚁集团开源了一套新算法，可帮助大模型在推理时，提速2至6倍，引起业内关注。
大模型推理再次跃升一个新台阶！最近，全新开源的国产SwiftInfer方案，不仅能让LLM处理无限流式输入，而且还将推理性能提升了46%。
全面综述近750篇「基础模型推理」论文，聚焦于各种推理任务、方法论和基准测试的最新进展，详细阐述大模型在各种推理任务上的现状、技术局限性和未来可能性。
上海交大IPADS实验室推出的开源推理框架PowerInfer，让大模型推理速度加快了11倍。
用大模型解决困扰数学家60多年的问题，谷歌DeepMind最新成果再登Nature。
大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
PyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码！
只需不到9行代码，就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延，且首个token和下一个token的推理速度分别提升多达40倍和2.68倍，还能满足更多场景应用需求。