PyTorch造大模型“加速包”,不到1000行代码提速10倍!英伟达科学家:minGPT以来最好的教程式repo之一
PyTorch造大模型“加速包”,不到1000行代码提速10倍!英伟达科学家:minGPT以来最好的教程式repo之一PyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码!
来自主题: AI资讯
7705 点击 2023-12-02 18:43
PyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码!
DeepSpeed-FastGen结合MII和DeepSpeed-Inference实现LLM高吞吐量文本生成。
Adobe公开了“Project Fast Fill”功能,这是一种使用生成式人工智能,通过文本提示互动的方式,可以在视频中移除人物、添加物体以及替换颜色的功能