用上这个工具包,大模型推理性能加速达40倍
用上这个工具包,大模型推理性能加速达40倍只需不到9行代码,就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延,且首个token和下一个token的推理速度分别提升多达40倍和2.68倍,还能满足更多场景应用需求。
来自主题: AI技术研报
4329 点击 2023-11-30 19:10
只需不到9行代码,就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延,且首个token和下一个token的推理速度分别提升多达40倍和2.68倍,还能满足更多场景应用需求。
在 Microsoft Ignite 开发者大会上,英特尔和微软宣布将合作对英特尔 Arc 图形解决方案的 DirectML 进行优化。结果表明,英特尔更新 Arc Alchemist 驱动程序后,在 AI 图像生成器 Stable Diffusion 中实现了 2.7 倍的性能提升。
Stability AI是一家人工智能 (AI) 初创公司,因其 Stable Diffusion 图像生成软件而闻名,据报道已筹集约 5000 万美元融资。
近日,英特尔正式启动首个“AI PC加速计划”,该计划将在2025年前为超过1亿台PC带来人工智能特性。预期在12月份发布的英特尔 酷睿 Ultra处理器,将作为“AI PC加速计划”的第一步,为PC带来高效能的AI加速和本地推理的全新体验。
据外媒TechCrunch报道,人工智能公司「AI21 Labs」在近期完成的C轮融资中获1.55亿美元投资。本轮融资使「AI21 Labs」融资总额达到2.83亿美元,而公司估值则突破14亿美元。