腾讯大模型落地实操:模型推理引擎 TACO-LLM 的实践、腾讯乐享的 AI 功能探索 关键词: Taco-LLM,vLLM 框架, TensorRT-LLM 大模型在今年的落地,除了对用 AI 对已有业务进行改造和提效外,算力和推理的优化,可能是另外一项重要的实践了。这在腾讯的两个完全不同的业务上有着明显的体现。 来自主题: AI资讯 9008 点击 2024-04-10 21:12