AI资讯新闻榜单内容搜索-TEN

关键词: PyTorch,LLM,AI模型,token

这两天，FlashAttention团队推出了新作： 一种给Transformer架构大模型推理加速的新方法，最高可提速8倍。 该方法尤其造福于长上下文LLM，在64k长度的CodeLlama-34B上通过了验证

关键词: Ryzen,AI,AMD

AMD 的 Ryzen AI for Windows 是该公司基于 Zen 4 微架构的 Ryzen 7040 系列 APU 中内置的一个硬件单元。AMD 的 Vitis AI 为人工智能推理提供了强大的工具集，可与 TensorFlow、PyTorch 和 ONNX 等流行框架无缝集成。

关键词: AI,AI大模型

目前，我国 AI 框架行业仍处于起步阶段，市场参与者主要有两大派系，分别是国外的 Google-TensorFlow 和 Meta-PyTorch 为代表的双寡头，以及国内以华为 -Mindspore 和百度 PaddlePaddle 为代表的领先企业。

关键词: AI,LLM,TensorRT-LLM,H100

H100让模型推理性能最高跃升8倍！英伟达最新开源软件TensorRT-LLM，将彻底改变LLM推理现状。

关键词: AI,AI公司融资

热门人工智能初创公司 IntenseEye 正在进行新一轮融资，预计该公司的估值将增加两倍。《福布斯》有消息称，风险投资公司光速创投（Lightspeed Venture Partners）领投了这家公司的B轮融资，目前从事工作场所安全监控的人工智能公司的估值约为3亿美元。