AI资讯新闻榜单内容搜索-GPU

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: GPU
深度|NVIDIA旗舰GPU对比:H100、A6000、L40S、A100在训练与推理中的应用

深度|NVIDIA旗舰GPU对比:H100、A6000、L40S、A100在训练与推理中的应用

深度|NVIDIA旗舰GPU对比:H100、A6000、L40S、A100在训练与推理中的应用

通过深入分析这些 GPU 的性能指标,我们将探讨它们在模型训练和推理任务中的适用场景,以帮助用户在选择适合的 GPU 时做出明智的决策。同时,我们还会给出一些实际有哪些知名的公司或项目在使用这几款 GPU。

来自主题: AI资讯
8332 点击    2024-10-31 11:55
国产视频模型,何以风靡美国社交媒体?

国产视频模型,何以风靡美国社交媒体?

国产视频模型,何以风靡美国社交媒体?

最近有一篇题为《2美元的H100:GPU泡沫是如何破灭的?》的文章异常火热,甚至投资人都认为英伟达坚挺的股价就是被这一篇文章所摧毁。

来自主题: AI资讯
4536 点击    2024-10-31 09:36
人类已知最大素数诞生:2¹³⁶²⁷⁹⁸⁴¹−1!前英伟达员工数千GPU爆肝算出,高达4100万位

人类已知最大素数诞生:2¹³⁶²⁷⁹⁸⁴¹−1!前英伟达员工数千GPU爆肝算出,高达4100万位

人类已知最大素数诞生:2¹³⁶²⁷⁹⁸⁴¹−1!前英伟达员工数千GPU爆肝算出,高达4100万位

人类已知最大的素数,被GPU发现了!英伟达前员工Luke Durant发现的2136279841-1,比前一个纪录保持者多出1600万位,由A100计算,H100确认。为此,小哥搭了数千个GPU的「云超算」,分布在17个国家。

来自主题: AI资讯
3887 点击    2024-10-27 14:36
7B新王登基!Zamba 2完胜同级模型,推理效率比Llama 3提升20%,内存用量更少

7B新王登基!Zamba 2完胜同级模型,推理效率比Llama 3提升20%,内存用量更少

7B新王登基!Zamba 2完胜同级模型,推理效率比Llama 3提升20%,内存用量更少

Zamba2-7B是一款小型语言模型,在保持输出质量的同时,通过创新架构实现了比同类模型更快的推理速度和更低的内存占用,在图像描述等任务上表现出色,能在各种边缘设备和消费级GPU上高效运行。

来自主题: AI技术研报
4194 点击    2024-10-25 11:06
MIT韩松团队长上下文LLM推理高效框架DuoAttention:单GPU实现330万Token上下文推理

MIT韩松团队长上下文LLM推理高效框架DuoAttention:单GPU实现330万Token上下文推理

MIT韩松团队长上下文LLM推理高效框架DuoAttention:单GPU实现330万Token上下文推理

TL;DR:DuoAttention 通过将大语言模型的注意力头分为检索头(Retrieval Heads,需要完整 KV 缓存)和流式头(Streaming Heads,只需固定量 KV 缓存),大幅提升了长上下文推理的效率,显著减少内存消耗、同时提高解码(Decoding)和预填充(Pre-filling)速度,同时在长短上下文任务中保持了准确率。

来自主题: AI技术研报
3630 点击    2024-10-24 11:33
用光学让AI算力集群提速数十倍,Lightmatter融资4亿美元

用光学让AI算力集群提速数十倍,Lightmatter融资4亿美元

用光学让AI算力集群提速数十倍,Lightmatter融资4亿美元

传统计算架构的潜力开发已接近极限 要实现超强的AI能力,需要超大规模的模型,要训练超大规模的AI模型,需要数千,甚至上万的GPU协同工作。

来自主题: AI资讯
2940 点击    2024-10-24 09:52
天命人闲置的4090,把GPU租赁价格打下来了

天命人闲置的4090,把GPU租赁价格打下来了

天命人闲置的4090,把GPU租赁价格打下来了

GPU租用市场越来越玄幻了,价格被打下来的原因,居然可以是天命人闲置的4090被循环利用了?

来自主题: AI资讯
9462 点击    2024-10-23 15:14
卷疯了!美国AI博士生「人手10篇顶会」,遭欧洲同行质疑

卷疯了!美国AI博士生「人手10篇顶会」,遭欧洲同行质疑

卷疯了!美国AI博士生「人手10篇顶会」,遭欧洲同行质疑

欧洲博士生的这篇帖子火了!为啥美国博士生人手10篇顶会,5篇一作?有人现身说法:这里卷疯了,博士打底每天工作10小时,7天无休,不少人都卷出了心理问题。而且顶尖机构还有丰富的GPU资源和大佬的背书,能不能站在巨人的肩膀上,自然差之千里……

来自主题: AI资讯
9512 点击    2024-10-21 17:39
深度|如何最大化 GPU 利用效率,让 ROI 最大化?

深度|如何最大化 GPU 利用效率,让 ROI 最大化?

深度|如何最大化 GPU 利用效率,让 ROI 最大化?

前不久在人工智能的帮助下,两位科学家获得了诺贝尔物理学奖。可以说人工智能已经在很多领域被广泛应用了。随着大语言模型(LLM)和深度学习的广泛应用,GPU 也已成为机器学习工程师和研究人员最重要的计算资源之一。

来自主题: AI资讯
7379 点击    2024-10-21 14:14