
OpenAI姚顺雨:欢迎来到AI下半场!
OpenAI姚顺雨:欢迎来到AI下半场!要理解上半场,看看它的赢家。你认为到目前为止最有影响力的 AI 论文是哪些?我尝试了斯坦福大学 224N 课程的测验,答案并不令人惊讶:Transformer、AlexNet、GPT-3 等等。这些论文有什么共同点?它们提出了一些训练更好模型的基本突破。但同样,它们通过在一些基准测试上展示一些(显著的)改进来发表论文。
来自主题: AI技术研报
8058 点击 2025-04-16 09:24
要理解上半场,看看它的赢家。你认为到目前为止最有影响力的 AI 论文是哪些?我尝试了斯坦福大学 224N 课程的测验,答案并不令人惊讶:Transformer、AlexNet、GPT-3 等等。这些论文有什么共同点?它们提出了一些训练更好模型的基本突破。但同样,它们通过在一些基准测试上展示一些(显著的)改进来发表论文。
从一行行代码、注释中感受 AlexNet 的诞生,或许老代码中还藏着启发未来的「新」知识。
近年来, Scaling Up 指导下的 AI 基础模型取得了多项突破。从早期的 AlexNet、BERT 到如今的 GPT-4,模型规模从数百万参数扩展到数千亿参数,显著提升了 AI 的语言理解和生成等能力。然而,随着模型规模的不断扩大,AI 基础模型的发展也面临瓶颈:高质量数据的获取和处理成本越来越高,单纯依靠 Scaling Up 已难以持续推动 AI 基础模型的进步。
Alexnet对人工智能世界具有象征意义,因为现代人工智能的三个基本要素第一次汇聚在一起,第一个要素是神经网络,第二个要素是大数据,即使用ImageNet,第三个要素是GPU计算......
ICML 2024时间检验奖出炉,贾扬清共同一作论文获奖!
要怎么介绍李飞飞?
没想到,自 2012 年 AlexNet 开启的深度学习革命已经过去了 12 年。