AI资讯新闻榜单内容搜索-RL

关键词: 大模型,AirLLM

大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。

关键词: RLHF,Llama 2,LLM

RLHF今年虽然爆火，但实打实用到的模型并不多，现在还出现了替代方案，有望从开源界“出圈”；大模型透明度越来越低，透明度最高的是Llama 2，但得分也仅有54；

关键词: RLHF,AI标注

谷歌团队的最新研究提出了，用大模型替代人类，进行偏好标注，也就是AI反馈强化学习（RLAIF）。