
单卡A100实现百万token推理,速度快10倍,这是微软官方的大模型推理加速
单卡A100实现百万token推理,速度快10倍,这是微软官方的大模型推理加速微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
来自主题: AI技术研报
6133 点击 2024-07-09 17:24
微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
新模型bGPT是一个基于字节的Transformer模型,能够将不同类型的数据纳入同一框架之下,可以生成文本、图像和音频,还能模拟计算机行为,数字世界将迎来真正的大一统?
上个月,微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源,在常识推理、语言理解和逻辑推理方面的性能显著改进。
都快到年底了,大模型领域还在卷,今天,Microsoft发布了参数量为2.7B的Phi-2——不仅13B参数以内没有对手,甚至还能和Llama 70B掰手腕!