AI资讯新闻榜单内容搜索-大模型推理

关键词: AI,o1,模型训练,人工智能

o1不是通向大模型推理的唯一路径！ MIT的新研究发现，在测试时对大模型进行训练，可以让推理水平大幅提升。

关键词: AI,工业AI,vLLM,Ada-KV,模型训练

改进KV缓存压缩，大模型推理显存瓶颈迎来新突破—— 中科大研究团队提出Ada-KV，通过自适应预算分配算法来优化KV缓存的驱逐过程，以提高推理效率。

关键词: 派欧云,PPIO,算力云,云服务器,AI云公司

PPIO推出新AI产品，助力分布式云计算及AIGC应用。

关键词: KV Cache,图解大模型,模型训练,AI

KV Cache 是大模型推理性能优化的一个常用技术，该技术可以在不影响任何计算精度的前提下，通过空间换时间的思想，提高推理性能。

关键词: AI Infra,AI,KTransformers,趋境科技,AI部署

2024年，落地，无疑是大模型最重要的主题。

关键词: 大模型,CPU,GPU,AI硬件,模型部署

千亿参数规模的大模型推理，服务器仅用4颗CPU就能实现！

关键词: Video-of-Thought,AI,AI视频,思维链

最近，新加坡国立大学联合南洋理工大学和哈工深的研究人员共同提出了一个全新的视频推理框架，这也是首次大模型推理社区提出的面向视频的思维链框架（Video-of-Thought， VoT）。视频思维链VoT让视频多模态大语言模型在复杂视频的理解和推理性能上大幅提升。该工作已被ICML 2024录用为Oral paper。

关键词: A100,AI,AI芯片,微软大模型

微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。

关键词: Apple AI,AI论文,Apple Intelligence,AI

如何在有限的内存下实现高效的大模型推理，是端侧AI发展的重要任务。

关键词: 小米大模型,SUBLLM,AI语音,AI,大模型

大模型推理速度提升50%以上，还能保证少样本学习性能！