苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型
苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型苹果M系列芯片专属的机器学习框架，开源即爆火！现在，用上这个框架，你就能直接在苹果GPU上跑70亿参数大模型、训练Transformer模型或是搞LoRA微调。
来自主题: AI资讯
9583 点击 2023-12-07 16:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
苹果M系列芯片专属的机器学习框架，开源即爆火！现在，用上这个框架，你就能直接在苹果GPU上跑70亿参数大模型、训练Transformer模型或是搞LoRA微调。
大模型的效果好不好，有时候对齐调优很关键。但近来很多研究开始探索无微调的方法，艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优（SFT）和人类反馈强化学习（RLHF）的 LLM 性能。
增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。
微软最新研究再次证明了提示工程的威力——无需额外微调，无需专家策划，仅凭提示，GPT-4就能化身“专家”。
关于大模型注意力机制，Meta又有了一项新研究。通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。
我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。
用视觉来做Prompt！沈向洋展示IDEA研究院新模型，无需训练或微调，开箱即用
有一家公司，OpenAI、Anthropic、Cohere、Aleph Alpha（欧洲顶尖大模型公司）和Hugging Face的模型训练和微调都离不开它，NVIDIA和谷歌云（GCP）都是它的深度合作伙伴，它是支持生成式AI明星公司们训练模型的幕后英雄。
GraphGPT框架将图结构模型和大语言模型进行参数对齐，利用双阶段图指令微调范式提高模型对图结构的理解能力和适应性，再整合ChatGPT提高逐步推理能力，实现了更快的推理速度和更高的图任务预测准确率。
大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步微调（Distilling Step-by-Step）的方法帮助模型训练。