AI资讯新闻榜单内容搜索-推理成本

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 推理成本
大模型「越用越快」!SpeedupLLM首次验证,大降56%推理预算

大模型「越用越快」!SpeedupLLM首次验证,大降56%推理预算

大模型「越用越快」!SpeedupLLM首次验证,大降56%推理预算

LLM用得越久,速度越快!Emory大学提出SpeedupLLM框架,利用动态计算资源分配和记忆机制,使LLM在处理相似任务时推理成本降低56%,准确率提升,为AI模型发展提供新思路。

来自主题: AI技术研报
4692 点击    2025-07-10 12:30
无损加速视觉语言模型推理!轻松剪掉视觉冗余Token|腾讯AI Lab

无损加速视觉语言模型推理!轻松剪掉视觉冗余Token|腾讯AI Lab

无损加速视觉语言模型推理!轻松剪掉视觉冗余Token|腾讯AI Lab

多图像、长视频、细粒度感知正在让大型视觉语言模型(LVLM)变得越来越聪明,但也越来越“吃不消”:视觉Token数量的激增所带来的推理成本暴涨,正逐渐成为多模态智能扩展的最大算力瓶颈。

来自主题: AI技术研报
6108 点击    2025-07-05 19:00
52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

大模型之战烽火正酣,谷歌Gemini 2.5 Pro却强势逆袭!Gemini Flash预训练负责人亲自揭秘,深挖Gemini预训练的关键技术,看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。

来自主题: AI技术研报
7912 点击    2025-04-29 09:43
亚马逊CEO贾西力挺AI千亿投资:非投不可,否则会被淘汰

亚马逊CEO贾西力挺AI千亿投资:非投不可,否则会被淘汰

亚马逊CEO贾西力挺AI千亿投资:非投不可,否则会被淘汰

亚马逊今年的资本支出达1000亿美元,大部分用于与AI相关项目。亚马逊内部正开发1000多种生成式AI应用,涵盖编程、搜索、购物等领域。美国当地时间周四,亚马逊CEO安迪·贾西发布了2024年度致股东信。他在信中预测,尽管许多公司正“大举”投资AI,但随着技术进步和芯片市场竞争加剧,AI的使用成本最终将会下降,而推理成本将占大头。

来自主题: AI资讯
7777 点击    2025-04-12 09:51
斯坦福2025 AI指数出炉!中美AI终极对决差距仅剩0.3%,DeepSeek领衔

斯坦福2025 AI指数出炉!中美AI终极对决差距仅剩0.3%,DeepSeek领衔

斯坦福2025 AI指数出炉!中美AI终极对决差距仅剩0.3%,DeepSeek领衔

2025年斯坦福HAI报告重磅发布,456页深度剖析全球AI领域的最新趋势:中美顶级模型性能差距缩至0.3%,以DeepSeek为代表的模型强势崛起,逼近闭源巨头;推理成本暴降,小模型性能飙升,AI正变得更高效、更普惠。

来自主题: AI资讯
8294 点击    2025-04-08 16:45
DeepSeek的MLA,任意大模型都能轻松迁移了

DeepSeek的MLA,任意大模型都能轻松迁移了

DeepSeek的MLA,任意大模型都能轻松迁移了

DeepSeek-R1 作为 AI 产业颠覆式创新的代表轰动了业界,特别是其训练与推理成本仅为同等性能大模型的数十分之一。多头潜在注意力网络(Multi-head Latent Attention, MLA)是其经济推理架构的核心之一,通过对键值缓存进行低秩压缩,显著降低推理成本 [1]。

来自主题: AI技术研报
5032 点击    2025-03-07 10:24
深度|硅谷明星华裔投资人谈DeepSeek:AI模型训练和推理成本在过去18个月180倍成本降低,推动更多开源项目涌现

深度|硅谷明星华裔投资人谈DeepSeek:AI模型训练和推理成本在过去18个月180倍成本降低,推动更多开源项目涌现

深度|硅谷明星华裔投资人谈DeepSeek:AI模型训练和推理成本在过去18个月180倍成本降低,推动更多开源项目涌现

AI模型的训练和推理成本在过去18个月内大幅下降,达到180倍的成本降低。这一趋势推动了更多开源项目的涌现。

来自主题: AI资讯
6154 点击    2025-02-28 13:56