推倒万亿参数大模型内存墙，万字长文：从第一性原理看神经网络量化
推倒万亿参数大模型内存墙，万字长文：从第一性原理看神经网络量化为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。
来自主题: AI技术研报
8081 点击 2024-02-17 11:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。
Karpathy力推代码生成任务增强流程，让GPT-4在CodeContests从19%提升到44%，不用微调不用新数据集训练，让大模型代码能力大幅提升。
刚刚，AI大牛Andrej Karpathy官宣了一条重要消息：他昨天已经从OpenAI离职，不过这中间没有什么戏剧性冲突，他只是想去尝试一下自己的个人项目。
谷歌Gemini迎来重大更新，包括Gemini Ultra和Gemini Advanced服务的发布，以及Bard品牌消失，Gemini成为唯一品牌。Gemini Ultra全面进入谷歌生态产品，并在多学科复杂知识的理解和处理上取得了优秀成绩。
单图 3D 说话人视频合成 (One-shot 3D Talking Face Generation) 可以被视作解决这一难题的下一代虚拟人技术。它旨在从单张图片中重建出目标人的三维化身 (3D Avatar)
谷歌推出Gemini大规模商业化，将其聊天机器人Bard改名为Gemini，并推出Gemini的Android版App。谷歌还将Gemini的能力加入iOS的Google App中，并免费向公众开放。Gemini还可替代原来的Google Assistant成为手机的默认语言助手。
AI大模型并非越大越好？过去一个月，关于大模型变小的研究成为亮点，通过模型合并，采用MoE架构都能实现小模型高性能。
最近，诺贝尔经济学奖得主Christopher Pissarides公开表态，传统意义上的「数理化」学科知识和技能，都将会被AI取代。而如果人类大部分的工作都消失了，将以什么样的方式生存？
当前有不少的大语言模型已经拥有了高准确度的天气预测能力。相比传统的天气预测技术，这些被称为大型 AI 气象预测模型（Large AI Weather forecast Model，LWMs）在极端天气预测方面有着更好的效果。
由华中科技大学光影交互服务技术文旅部重点实验室发起成立的中国人工智能艺术教育协同创新平台召开了首届人工智能艺术长江论坛(ArtI2023)暨中国人工智能艺术教育协同创新平台成立大会，会上重磅发布了《中国人工智能艺术教育白皮书》。