田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型
田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。
来自主题: AI技术研报
11051 点击 2024-03-08 15:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。
最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。
ICLR 2024录用结果出来了。一年一度的ICLR顶会录用结果公布了！今年共7000多篇投稿论文，录用率31%。
大家都在猜测，Q*是否就是「Q-learning + A*」。 AI大牛田渊栋也详细分析了一番，「Q*=Q-learning+A*」的假设，究竟有多大可能性。 与此同时，越来越多人给出判断：合成数据，就是LLM的未来。