AI资讯新闻榜单内容搜索-o

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: o
Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

伴随大模型迭代速度越来越快,训练集群规模越来越大,高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点,检查点(Checkpoint)系统在训练过程中负责状态的存储和恢复,已经成为克服训练故障、保障训练进度和提高训练效率的关键。

来自主题: AI资讯
8630 点击    2024-08-08 18:53
对话RWKV作者彭博:单枪匹马挑战Transformer的神秘怪才

对话RWKV作者彭博:单枪匹马挑战Transformer的神秘怪才

对话RWKV作者彭博:单枪匹马挑战Transformer的神秘怪才

一个人,待在家里,“懒散”的有一搭没一搭,训练一个要挑战已经“一统世界”的Transformer 的模型。这听起来足够夸张。

来自主题: AI资讯
11681 点击    2024-08-08 14:45
无比喻,不论文!用「画家流水线」的方式理解Transformer中间层

无比喻,不论文!用「画家流水线」的方式理解Transformer中间层

无比喻,不论文!用「画家流水线」的方式理解Transformer中间层

Transformer架构层层堆叠,包含十几亿甚至几十亿个参数,这些层到底是如何工作的?当一个新奇的比喻——「画家流水线」,被用于类比并理解Transformer架构的中间层,情况突然变得明朗起来,并引出了一些有趣的发现。

来自主题: AI技术研报
13001 点击    2024-08-08 14:37