AI资讯新闻榜单内容搜索-H100

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: H100
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩

万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩

万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩

面对LLM逐渐膨胀的参数规模,没有H100的开发者和研究人员们想出了很多弥补方法,「量化」技术就是其中的一种。这篇可视化指南用各种图解,将「量化」的基本概念和分支方法进行了全方位总结。

来自主题: AI技术研报
9335 点击    2024-07-31 16:21
1.6万块H100训Llama 3.1,每3小时故障1次!罪魁祸首竟是GPU和HBM3显存

1.6万块H100训Llama 3.1,每3小时故障1次!罪魁祸首竟是GPU和HBM3显存

1.6万块H100训Llama 3.1,每3小时故障1次!罪魁祸首竟是GPU和HBM3显存

在Meta的Llama 3.1训练过程中,其运行的1.6万个GPU训练集群每3小时就会出现一次故障,意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。

来自主题: AI技术研报
9657 点击    2024-07-29 20:16
电脑平板组AI集群,在家就能跑400B大模型,GitHub狂揽2.5K星​

电脑平板组AI集群,在家就能跑400B大模型,GitHub狂揽2.5K星​

电脑平板组AI集群,在家就能跑400B大模型,GitHub狂揽2.5K星​

不用H100,三台苹果电脑就能带动400B大模型。 背后的功臣,是GitHub上的一个开源分布式AI推理框架,已经斩获了2.5k星标。

来自主题: AI技术研报
7163 点击    2024-07-23 00:26
AI争霸战开启!OpenAI急建10万块GB200超算,马斯克10万块H100月末开训

AI争霸战开启!OpenAI急建10万块GB200超算,马斯克10万块H100月末开训

AI争霸战开启!OpenAI急建10万块GB200超算,马斯克10万块H100月末开训

马斯克官宣xAI建造的世界最大超算集群,由10万块H100搭建,预计本月末开始投入训练。另一边,OpenAI再次加码,将打造由10万块GB200组成的超算,完全碾压xAI。

来自主题: AI资讯
9496 点击    2024-07-16 19:48