单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法
单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
来自主题: AI技术研报
6379 点击 2024-02-21 16:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大语言模型之大，成本之高，让模型的稀疏化变得至关重要。
这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒500tokens大模型生成，感受不到任何延迟。外加谷歌TPU团队这样一个高精尖人才Buff，让不少人直呼：英伟达要被碾压了……
自 ChatGPT-4 再度掀起“AI”热潮，2月16日，OpenAI 发布了首个文本转视频 AI 模型 Sora，为人工智能又带来亿点点惊艳和震撼。
OpenAI公布Sora视频模型，国内涌现卖课盈利现象。Sora还未正式开放，卖课的已经盈利了。
推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。
2024年的开年震撼同样来自OpenAI。节后还没开工，Altman就带着继ChatGPT的第二个杀手级应用Sora大杀四方。我们看完那条长达60s的演示视频后，脑中只有一句话：大家谁都别想玩了。
AI女友是大模型的产物，她是一个聊天机器人，24小时陪聊，随叫随到，能文字能语音，还能发美照。
2 月 18 日，年初九，很多人都迎来了龙年开工第一天。但与往年不同的是，今年的开工第一天就充满了「AI 的味道」。
龙年刚一开年，OpenAI又打开了新局面，这次火的是文生视频。2月16日凌晨，OpenAI发布了文生视频大模型Sora。Sora能够根据文本提示创建详细的视频、扩展现有视频中的叙述以及从静态图像生成场景。
从英伟达的产品路线来看，在未来1-2 年，AI 芯片市场将再次天翻地覆。