AI资讯新闻榜单内容搜索-checkpoint

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: checkpoint
第一个100%开源的MoE大模型,7B的参数,1B的推理成本

第一个100%开源的MoE大模型,7B的参数,1B的推理成本

第一个100%开源的MoE大模型,7B的参数,1B的推理成本

训练代码、中间 checkpoint、训练日志和训练数据都已经开源。

来自主题: AI技术研报
8565 点击    2024-09-05 22:02
Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

伴随大模型迭代速度越来越快,训练集群规模越来越大,高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点,检查点(Checkpoint)系统在训练过程中负责状态的存储和恢复,已经成为克服训练故障、保障训练进度和提高训练效率的关键。

来自主题: AI资讯
5753 点击    2024-08-08 18:53