AI资讯新闻榜单内容搜索-模型推理

关键词: EAGLE,大模型,大模型推理,LLM

大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。

关键词: PyTorch,minGPT,GPT-fast

PyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码！

关键词: LLM,大模型,Transformer

只需不到9行代码，就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延，且首个token和下一个token的推理速度分别提升多达40倍和2.68倍，还能满足更多场景应用需求。

关键词: PyTorch,LLM,AI模型,token

这两天，FlashAttention团队推出了新作： 一种给Transformer架构大模型推理加速的新方法，最高可提速8倍。 该方法尤其造福于长上下文LLM，在64k长度的CodeLlama-34B上通过了验证

关键词: AI,大模型,人工智能,MIT

麻省理工学院计算机科学与人工智能实验室（CSAIL）研究团队发现，多个语言模型协同工作胜过单一模型，多个AI协作有助于提高大型语言模型的推理能力和事实准确性。

关键词: AI,LLM,TensorRT-LLM,H100

H100让模型推理性能最高跃升8倍！英伟达最新开源软件TensorRT-LLM，将彻底改变LLM推理现状。