Qwen3真香!通义App满血接入,一手实测在此
Qwen3真香!通义App满血接入,一手实测在此开源大模型新王者,正在受到空前关注。
开源大模型新王者,正在受到空前关注。
在推荐、广告场景,如何利用好大模型的能力?这是个很有挑战的命题。
医疗大模型知识覆盖度首次被精准量化!
春节以来,DeepSeek 的爆火点燃了 AI 产业化的加速引擎,但 AI 的真正落地远不止于技术突破,更是对基础设施和生态系统的巨大考验。
训练成本高昂已经成为大模型和人工智能可持续发展的主要障碍之一。
今天上午,小米发布了其首个开源推理大模型-Xiaomi MiMo。通过 25 T 预训练 + MTP 加速 + 规则化 RL + Seamless Rollout,让 7 B 参数的 MiMo-7B 在数理推理和代码生成上赶超 30 B-32 B 大模型,并完整 MIT 开源全系列与工程链,给端-云一体 AI 落地提供了“以小博大”的新范例。
科技创新的终点,是服务于人。
近日,无问芯穹发起了一次推理系统开源节,连续开源了三个推理工作,包括加速端侧推理速度的 SpecEE、计算分离存储融合的 PD 半分离调度新机制 Semi-PD、低计算侵入同时通信正交的计算通信重叠新方法 FlashOverlap,为高效的推理系统设计提供多层次助力。下面让我们一起来对这三个工作展开一一解读:
在以 transformer 模型为基础的大模型中,键值缓存虽然用以存代算的思想显著加速了推理速度,但在长上下文场景中成为了存储瓶颈。为此,本文的研究者提出了 MILLION,一种基于乘积量化的键值缓存压缩和推理加速设计。
自从DeepSeek带火了蒸馏模型以后,更多人开始关注AI大模型在边缘端的部署。而在过去,TinyML一直也在MCU领域很火热。现在,边缘AI走得更快了,市场也正在走向爆发。