苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型
苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型苹果M系列芯片专属的机器学习框架，开源即爆火！现在，用上这个框架，你就能直接在苹果GPU上跑70亿参数大模型、训练Transformer模型或是搞LoRA微调。
来自主题: AI资讯
10280 点击 2023-12-07 16:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
苹果M系列芯片专属的机器学习框架，开源即爆火！现在，用上这个框架，你就能直接在苹果GPU上跑70亿参数大模型、训练Transformer模型或是搞LoRA微调。
大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。
英伟达推出的新一代GPU，NVIDIA HGX H200，被称为“最强AI芯片”。H200在推理速度、显存容量和带宽等方面相较于H100有显著提升。文章还提到了英伟达为中国市场推出的改良版GPU H20，虽然性能较H200有所降低，但在带宽方面更高，成本也更低。
英伟达老黄，带着新一代GPU芯片H200再次炸场。官网毫不客气就直说了，“世界最强GPU，专为AI和超算打造”。
提及人工智能AI相关的算力芯片，现在绝大多数人的第一反应都是英伟达NVIDIA的GPU，作为AI模型搭建的基础，英伟达的A100/H100几乎成为了一块块“金砖”，深受业界喜爱。
OpenAI的工程团队经理（Engineering Manager）Evan Morikawa在一个开发者活动中分享了如何带领OpenAI的工程团队来应对ChatGPT的爆发式增长，以及用猫来调戏黑客等一系列趣事。
有关GPT-5的消息最近又火起来了。从最一开始的爆料，说OpenAI正在秘密训练GPT-5，到后来Sam Altman澄清；再到后来说需要多少张H100 GPU来训练GPT-5，DeepMind的CEO Suleyman采访「实锤」OpenAI正在秘密训练GPT-5。
近日有消息称，OpenAI正在考虑自己制造或收购AI芯片，以解决其业务所需的高性能和低成本GPU的问题。 今天，咱们来聊聊，OpenAI都想入局的GPU，究竟是个啥？
GPT-4太吃算力，微软被爆内部制定了Plan B，训练更小、成本更低的模型，进而摆脱OpenAI。
在高性能计算（HPC）、人工智能（AI）、和数据分析等领域，图形处理器（GPUs）正在发挥越来越重要的作用。其中，NVIDIA的 A100尤为引人注目。这是英伟达最强大的显卡处理器，也是当前使用最广泛大模型训练用的显卡。