近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。然而，大语言模型的落地应用受到其较大的推理开销的限制，对部署资源、用户体验、经济成本都带来了巨大挑战。
两周前，OpenBMB开源社区联合面壁智能发布领先的开源大模型「Eurux-8x22B 」。相比口碑之作 Llama3-70B，Eurux-8x22B 发布时间更早，综合性能相当，尤其是拥有更强的推理性能——刷新开源大模型推理性能 SOTA，堪称开源大模型中「理科状元」。
【新智元导读】从今天起，千元级就能解锁专属大模型了！这款搭载首颗纯国产14nm Chiplet大模型推理芯片的「深目」AI模盒，可以轻松实现百亿级参数多模态大模型的推理+微调。各种碎片化长尾算法，直接秒级生成！
推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。
谷歌&南加大推出最新研究“自我发现”（Self-Discover），重新定义了大模型推理范式。与已成行业标准的思维链（CoT）相比，新方法不仅让模型在面对复杂任务时表现更佳，还把同等效果下的推理成本压缩至1/40。
风投烧完之后，哪些大模型创业公司会开始盈利？
去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。
该算法现已在GitHub上开源，相关论文公布在ARXIV。近日，蚂蚁集团开源了一套新算法，可帮助大模型在推理时，提速2至6倍，引起业内关注。
大模型推理再次跃升一个新台阶！最近，全新开源的国产SwiftInfer方案，不仅能让LLM处理无限流式输入，而且还将推理性能提升了46%。
全面综述近750篇「基础模型推理」论文，聚焦于各种推理任务、方法论和基准测试的最新进展，详细阐述大模型在各种推理任务上的现状、技术局限性和未来可能性。
