最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
来自主题: AI技术研报
3027 点击 2024-11-13 13:41
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
昨天，The Information 的一篇文章让 AI 社区炸了锅。
Ilya终于承认，自己关于Scaling的说法错了！现在训练模型已经不是「越大越好」，而是找出Scaling的对象究竟应该是什么。他自曝，SSI在用全新方法扩展预训练。而各方巨头改变训练范式后，英伟达GPU的垄断地位或许也要打破了。
本文是一篇发表在 NeurIPS 2024 上的论文，单位是香港大学、Sea AI Lab、Contextual AI 和俄亥俄州立大学。论文主要探讨了大型语言模型（LLMs）的词表大小对模型性能的影响。
Molmo，开源多模态模型正在发力！
CoT铸就了o1推理王者。 它开创了一种推理scaling新范式——随着算力增加、更长响应时间，o1性能也随之增长。
在电影《天下无贼》中，葛优扮演的黎叔有这样一句经典的台词，「二十一世纪什么最贵？人才！」而随着人工智能行业进入到大模型时代，这一问题的答案已然变成了「算力」。
OpenAI的新模型o1，可谓是开启了Scaling Law的新篇章——
GPT-4o 读万卷书，「o1」行万里路。
新型图基础模型来了—— AnyGraph，基于图混合专家（MoE）架构，专门为实现图模型跨场景泛化而生。