AI资讯新闻榜单内容搜索-Scaling

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: Scaling
C.AI被收购的宿命论与万恶的Scaling Law

C.AI被收购的宿命论与万恶的Scaling Law

C.AI被收购的宿命论与万恶的Scaling Law

C.AI被收购是因市场和创始人选择,Scaling Law加剧了竞争。 • C.AI选择做模型公司以获得高估值。 • Google收购C.AI以应对AI市场竞争。 • Scaling Law使大模型公司竞争更激烈。

来自主题: AI资讯
5953 点击    2024-08-19 10:02
Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

让模型具有更加广泛和通用的认知能力,是当前人工智能(AI)领域发展的重要目标。目前流行的大模型路径是基于 Scaling Law (尺度定律) 去构建更大、更深和更宽的神经网络提升模型的表现,可称之为 “基于外生复杂性” 的通用智能实现方法。然而,这一路径也面临着一些难以克服的困境,例如高昂的计算资源消耗和能源消耗,并且在可解释性方面存在不足。

来自主题: AI资讯
5327 点击    2024-08-18 10:16
深度|微软CTO谈大模型scaling laws和人工智能平台转变

深度|微软CTO谈大模型scaling laws和人工智能平台转变

深度|微软CTO谈大模型scaling laws和人工智能平台转变

非凡产研为大家整理编辑了近期微软CTO凯文·斯科特(Kevin Scott)接受红杉资本、Stratechery 采访回应关于大模型scaling laws、人工智能平台转变等焦点话题的精华内容。

来自主题: AI资讯
5167 点击    2024-08-17 14:15
Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?

Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?

Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?

最近的论文表明,LLM等生成模型可以通过搜索来扩展,并实现非常显著的性能提升。另一个复现实验也发现,让参数量仅8B的Llama 3.1模型搜索100次,即可在Python代码生成任务上达到GPT-4o同等水平。

来自主题: AI技术研报
8729 点击    2024-08-15 16:05
FBI-LLM低比特基础大语言模型来了,首个完全从头训练的二值化语言模型

FBI-LLM低比特基础大语言模型来了,首个完全从头训练的二值化语言模型

FBI-LLM低比特基础大语言模型来了,首个完全从头训练的二值化语言模型

自回归训练方式已经成为了大语言模型(LLMs)训练的标准模式, 今天介绍一篇来自阿联酋世界第一所人工智能大学MBZUAI的VILA实验室和CMU计算机系合作的论文,题为《FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation》

来自主题: AI技术研报
6323 点击    2024-07-28 23:25
Nature最新封面:AI 训练 AI?也许越来越笨

Nature最新封面:AI 训练 AI?也许越来越笨

Nature最新封面:AI 训练 AI?也许越来越笨

为何会发生?可以避免吗?

来自主题: AI资讯
9747 点击    2024-07-25 11:23
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2

挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2

挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2

Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。

来自主题: AI技术研报
9826 点击    2024-07-22 15:25
清华夺SIGIR 2024「时间检验+最佳论文奖」!中国大陆研究机构首次牵头获奖

清华夺SIGIR 2024「时间检验+最佳论文奖」!中国大陆研究机构首次牵头获奖

清华夺SIGIR 2024「时间检验+最佳论文奖」!中国大陆研究机构首次牵头获奖

刚刚,信息检索领域的国际顶会SIGIR 2024,公布了最终获奖结果。在所有获奖名单中,来自清华计算机系的团队们斩获了两大奖项——时间检验奖、最佳论文奖,实至名归!

来自主题: AI资讯
5580 点击    2024-07-18 16:26
MoE也有Scaling Law,「百万专家」利用率近100%!DeepMind华人挑战MoE极限

MoE也有Scaling Law,「百万专家」利用率近100%!DeepMind华人挑战MoE极限

MoE也有Scaling Law,「百万专家」利用率近100%!DeepMind华人挑战MoE极限

MoE已然成为AI界的主流架构,不论是开源Grok,还是闭源GPT-4,皆是其拥趸。然而,这些模型的专家,最大数量仅有32个。最近,谷歌DeepMind提出了全新的策略PEER,可将MoE扩展到百万个专家,还不会增加计算成本。

来自主题: AI技术研报
8475 点击    2024-07-15 20:01