4GB 显存单卡居然能跑 70B 大模型了!
4GB 显存单卡居然能跑 70B 大模型了!大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。
来自主题: AI资讯
8893 点击 2023-12-07 11:00
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。
大模型的效果好不好，有时候对齐调优很关键。但近来很多研究开始探索无微调的方法，艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优（SFT）和人类反馈强化学习（RLHF）的 LLM 性能。
Bing Chat正式更名Copilot后，让微软成为一家Copilot公司。未来几周，Copilot将迎来重磅更新，最重要的是GPT-4 Turbo可以免费用。
2022年11月30日，是ChatGPT面世的第一天。至今整整一年的时间，“人类与AI的未来”撕开科幻的外衣，正式踏入现实。
全球科技研究和咨询公司CCS Insight发布预测报告称：2023年大热的生成式人工智能领域将在2024年接受现实的检验。具体表现为：技术炒作逐渐消退，运行成本不断上升，监管呼声越来越多，投资人不再像之前那样兴奋和乐观。
在 2023 年上半年，AI 圈内有一个热议观点：「所有产品都值得用大模型重做一次。」这个设想，曾引发了人们无限的想象。
AI社区大佬Sebastian总结了2023年全年AI行业的热点和问题，针对开源社区和AI研究的热点问题给出了自己读到的解读和发展建议，精彩内容千万不能错过。
本文中，上海交大 & 上海 AI Lab 发布 Radiology Foundation Model (RadFM)，开源 14B 多模态医疗基础模型，首次支持 2D/3D 放射影像输入。
Transformer大模型工作原理究竟是什么样的？一位软件工程师打开了大模型的矩阵世界。黑客帝国中，「矩阵模拟」的世界或许真的存在。
哈工深发布全新多模态大语言模型九天（JiuTian-LION），融合细粒度空间感知和高层语义视觉知识，在13个评测任务上实现了sota性能。