PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍
PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证
来自主题: AI技术研报
5942 点击 2023-10-18 14:43
搜索
这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证
Jakob Uszkoreit创立的AI生物技术公司Inceptive近日获得a16z、NVIDIA的风险投资部门NVentures以及Obvious Ventures等机构投资的1亿美元A轮融资