谷歌&MIT何恺明团队：视觉大模型像LLM一样高效Scaling，指路连续token+随机生成顺序
谷歌&MIT何恺明团队：视觉大模型像LLM一样高效Scaling，指路连续token+随机生成顺序来自主题: AI技术研报
4543 点击 2024-10-20 17:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
2022年诞生的ChatGPT，已经在相当程度上实现了大模型的Scaling law（尺度定律）和通用能力涌现。
OpenAI o1 的发布，再次给 AI 领域带来了一场地震。 o1 能像人类一样「思考」复杂问题，拥有优秀的通用推理能力。在未经专门训练的情况下，o1 能够直接拿下数学奥赛金牌，甚至能在博士级别的科学问答环节上超越人类专家。
o1 作为 OpenAI 在推理领域的最新模型，大幅度提升了 GPT-4o 在推理任务上的表现，甚至超过了平均人类水平。o1 背后的技术到底是什么？OpenAI 技术报告中所强调的强化学习和推断阶段的 Scaling Law 如何实现？
本文是一篇发表在 NeurIPS 2024 上的论文，单位是香港大学、Sea AI Lab、Contextual AI 和俄亥俄州立大学。论文主要探讨了大型语言模型（LLMs）的词表大小对模型性能的影响。
Molmo，开源多模态模型正在发力！
CoT铸就了o1推理王者。 它开创了一种推理scaling新范式——随着算力增加、更长响应时间，o1性能也随之增长。
在电影《天下无贼》中，葛优扮演的黎叔有这样一句经典的台词，「二十一世纪什么最贵？人才！」而随着人工智能行业进入到大模型时代，这一问题的答案已然变成了「算力」。
OpenAI的新模型o1，可谓是开启了Scaling Law的新篇章——
GPT-4o 读万卷书，「o1」行万里路。