AI资讯新闻榜单内容搜索-vLLM

关键词: AI,工业AI,vLLM,Ada-KV,模型训练

改进KV缓存压缩，大模型推理显存瓶颈迎来新突破—— 中科大研究团队提出Ada-KV，通过自适应预算分配算法来优化KV缓存的驱逐过程，以提高推理效率。

关键词: Taco-LLM,vLLM 框架, TensorRT-LLM

大模型在今年的落地，除了对用 AI 对已有业务进行改造和提效外，算力和推理的优化，可能是另外一项重要的实践了。这在腾讯的两个完全不同的业务上有着明显的体现。