只需不到9行代码，就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延，且首个token和下一个token的推理速度分别提升多达40倍和2.68倍，还能满足更多场景应用需求。
小羊驼团队的新研究火了。他们开发了一种新的解码算法，可以让模型预测100个token数的速度提高1.5-2.3倍，进而加速LLM推理。
开源最彻底的大模型来了——130亿参数，无需申请即可商用。 不仅如此，它还附带着把全球最大之一的中文数据集也一并开源了出来：600G、1500亿tokens！
千亿级大模型正迅速耗尽世界的高质量数据。对此，英伟达和UT提出了MimicGen系统。从人工合成数据中获得人工智能，将是未来的发展方向。
GraphGPT框架将图结构模型和大语言模型进行参数对齐，利用双阶段图指令微调范式提高模型对图结构的理解能力和适应性，再整合ChatGPT提高逐步推理能力，实现了更快的推理速度和更高的图任务预测准确率。
这两天，FlashAttention团队推出了新作： 一种给Transformer架构大模型推理加速的新方法，最高可提速8倍。 该方法尤其造福于长上下文LLM，在64k长度的CodeLlama-34B上通过了验证
悄无声息，羊驼家族“最强版”来了！ 与GPT-4持平，上下文长度达3.2万token的LLaMA 2 Long，正式登场。
一经发布，地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练，性能直接碾压Llama 2。
