单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法
单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
来自主题: AI技术研报
6031 点击 2024-02-21 16:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
刚刚，我们经历了LLM划时代的一夜。谷歌又在深夜发炸弹，Gemini Ultra发布还没几天，Gemini 1.5就来了。卯足劲和OpenAI微软一较高下的谷歌，开始进入了高产模式。
微软首个为Windows而设的智能体（Agent） 亮相：基于GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整个过程无需人为干预，其执行成功率和效率是GPT-4的两倍，GPT-3.5的四倍。
检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。
为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。
国外网站AIPRM收集了100多项ChatGPT统计数据，考察了ChatGPT的增长、使用和公众意见等各项数据。上线一年多以后ChatGPT真的成茶叶蛋了吗？
微软、谷歌、 英伟达等科技巨头加码 AI 的野心人尽皆知，但跑得快并不一定能吃上肉。从几家公司刚刚发布的Q4季度报看，有的已经享受到AI带来的红利，有的仍在为AI铺路，甚至不惜壮士断腕。
在大模型技术的带动下，微软成为唯一一家营收增速还有明显上涨的云厂商
微软研究院上线了面向全球研究界的全新线上系列活动 Microsoft Research Forum，旨在共同探讨人工智能时代的最新研究进展、大胆新颖的想法以及全球研究界关注的重要议题。来自微软研究院全球各地的研究人员将分享他们的研究洞见，并与大家进行在线讨论，希望碰撞出更多新的思想火花。
AI大模型在业界备受关注，但对于一些公司来说，采用小模型可能是一种更好的选择。微软已经开始研发小规模、低算力需求的模型，并组建新团队进行对话式AI的开发。而对于工业、金融和汽车等领域而言，小模型更易于落地，并且具有省电、省钱、省时间的优势。