大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE
大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
Gemini Pro API今天上线即免费,开发者可以通过Vertex AI定制自己的Gemini。同时,Gemini也将支持谷歌的AI代码助手——Duet AI。
过去我们谈AIGC,谈的是生成算法模型的突破创新,谈的是多模态技术的融合……而从来没有一个时刻像2023这般让我们距AI如此之近。
毋庸置疑,2023 年科技行业最重要的产品技术突破都来自大模型和生成式 AI 技术,上到各国政要精英,下到普通网友都见识到了大模型带来的突破性改变。年初,微软创始人比尔·盖茨在接受德国商报采访时就感慨:
今年10月,《时代》杂志发布了一份「2023最佳发明」榜单,为了呼应AI浪潮,《时代》从去年开始就特别设置了「AI单元」。在今年入选的十几个应用中,排在老牌软件巨头Adobe和屠龙少年OpenAI之后的就是大火的文生视频应用——Runway Gen-2。
即使经历了 11 月堪称「狗血」的 OpenAI 逼宫事件,Sam Altman 仍然无愧于时代周刊(TIME)颁发的年度 CEO 的称号,从 YC 到 OpenAI,Sam Altman 用他天才的商业头脑在一步步推动世界的改变,夸张点说,「以一己之力带领世界进入了 AGI 时代」。
彭博社报道,Mistral 正在完成 4.87 亿美元的融资,估值 20 亿美元,其中英伟达、Salesforce 参与,a16z 领投。
让GPT-4操纵人形机器人,事先不做任何编程or训练,能搞成啥样儿? 答案是:太 猎 奇 了!
教大模型调用工具,已经是AI圈关注度最高的话题之一了。这不,又有一项研究登上最新NeurIPS 2023——它是一个叫做Chameleon(变色龙)的框架,号称能将大语言模型直接变成魔法师的工具箱,来自微软与加州大学洛杉矶分校(UCLA)。
开源模型正展现着它们蓬勃的生命力,不仅数量激增,性能更是愈发优秀。图灵奖获得者 Yann LeCun 也发出了这样的感叹:「开源人工智能模型正走在超越专有模型的路上。