AI资讯新闻榜单内容搜索-A

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: A
腾讯混元、北大发现Scaling law「浪涌现象」,解决学习率调参难题

腾讯混元、北大发现Scaling law「浪涌现象」,解决学习率调参难题

腾讯混元、北大发现Scaling law「浪涌现象」,解决学习率调参难题

过去十年间,基于随机梯度下降(SGD)的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中,Adam 及其变种最受追捧。无论是 SGD,还是 Adam,亦或是其他优化器,最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。

来自主题: AI技术研报
9289 点击    2024-06-05 22:57
水温80度:AI行业真假繁荣的临界点

水温80度:AI行业真假繁荣的临界点

水温80度:AI行业真假繁荣的临界点

大模型出现以来,整个行业的资金循环模式是什么样子呢?投资注入大模型公司,大模型公司买卡注入英伟达。这正是过去十年间AI典型的非良性循环,但与上次不同的是,这次确实正在一点点摆脱此前十几年间的惯性。现在我们处在什么位置呢?水温80度,正是一个要开还没开的节点。

来自主题: AI资讯
10085 点击    2024-06-05 18:10
大模型的电力经济学:中国AI需要多少电力?

大模型的电力经济学:中国AI需要多少电力?

大模型的电力经济学:中国AI需要多少电力?

美国电力巨头们的股价正在因为AI而疯狂,近一年来涨幅普遍翻番,甚至超过了英伟达。正在建设AI基础设施的七大科技巨头(M7)们,不仅抢着向英伟达要货,还在抓紧和这些电力巨头们签订合同。也难怪黄仁勋前两天在COMPUTEX的演讲中频繁强调芯片能耗。中国人工智能要追赶美国,会遭遇类似的“电力危机”吗?

来自主题: AI资讯
10613 点击    2024-06-05 18:08