深度|OpenAI最高职级华人Mark Chen独家回应与Gemini竞争、Meta人才战及AI核心策略

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
深度|OpenAI最高职级华人Mark Chen独家回应与Gemini竞争、Meta人才战及AI核心策略
8932点击    2025-12-25 10:15

深度|OpenAI最高职级华人Mark Chen独家回应与Gemini竞争、Meta人才战及AI核心策略

图片来源:Core Memory Podcast


Z Highlights


  • 我们不会和 Meta 竞价,即便待遇远低于对方,核心人才仍愿意留在 OpenAI,只因大家坚信这里的发展潜力和 AGI 愿景。


  • 预训练仍有巨大提升空间,规模化并未过时,我们正通过技术突破让模型性能实现质的飞跃,有信心应对行业竞争。


  • 未来 1 年内要让 AI 实习生助力研究,2.5 年内实现 AI 端到端独立研究,如今科学发现自动化已显现显著进展。


  • AI 与人类的解题直觉截然不同,二者在前沿研究中的协作,将创造出超越单一物种极限的惊人成果。


  • 过度关注研究功劳会阻碍进步,但认可人才价值至关重要,OpenAI 坚持公开项目归属,打造 AI 超级明星摇篮。


Ashlee Vance,Core Memory播客主持人,科技领域资深记者;Mark Chen——OpenAI首席研究官,深耕AGI研究与AI对齐领域,主导多项核心模型研发,AI行业人才争夺白热化、Gemini 3发布后,围绕OpenAI研究布局与AGI未来展开对话。访谈时间:2025年12月2日。


人才攻防战:Meta的激进招募与OpenAI的底气


Ashlee Vance:人才争夺战备受关注,Meta的动作相当激进。这场拉锯战具体是什么样的?我们现在处于什么阶段?


Mark Chen:确实存在一批核心人才,业内几乎都清楚他们是谁。很多公司都意识到,打造顶尖AI实验室的关键要素之一就是招揽最优秀的人才。Meta大力推行这一策略并不意外。我们并未坐视不管,我想从OpenAI的角度来讲讲这段经历。媒体上有很多声音说人才正单向流向Meta,但据我观察并非如此。Meta确实挖了很多人,但大多以失败告终。举个例子,在他们成功招到任何人之前,曾试图挖走我一半的直接下属,结果所有人都拒绝了。当然,他们每年有大约100亿美元的资金用于招揽人才,总会有所收获。但总体来说,我们在保护核心人才方面做得相当不错,看着这场争夺战不断升级也挺有意思的。有个有趣的细节是,他们甚至会亲自给想从我们这儿挖走的人送亲手做的汤。


Ashlee Vance:这真是做到极致了。


Mark Chen:我听说那汤是亲手熬的,当时我很震惊。不过久而久之,我发现这类方式自有其效果。为了回应,我下次团队外出活动时,会带他们去参加烹饪课。这事儿就这样愈演愈烈,但我确实从中学到了不少招揽顶尖人才的方法。


Ashlee Vance:就像米其林星级大厨那样用心?


Mark Chen:差不多这个意思。Dale(送汤的人)确实很厉害,厨艺可能比我好得多。但我确实领悟到,要积极主动地争夺顶尖人才。让我深受鼓舞的是,在OpenAI内部,即便大家各有想法,也没人认为AGI会先在Meta实现。每个人都对OpenAI的研究项目充满信心。我也明确告诉团队和所有研究人员,我们不会和Meta逐美元竞价,而且我们提供的待遇远低于Meta,但大家依然愿意留在OpenAI。这让我坚信,人们真正相信这里的发展潜力,相信我们能实现目标。


Ashlee Vance:Alex Wayne以前是搞数学的,对吧?你们应该认识他。


Mark Chen:我和他见过几次,但不算太熟。


Ashlee Vance:他为什么会离开呢?


Mark Chen:不清楚。他们用过汤、鲜花,各种能想到的招儿都试过了,但生活本就是一场冒险,我就顺着这个梗回应而已。


Ashlee Vance:这里面有没有什么类似扑克策略的技巧?


Mark Chen:这又回到了我之前说的媒体叙事问题。我们的目标不是留住世界上每一个人,而是相信我们的人才培养体系,明确需要留住的核心人员并全力挽留。我认为我们在这方面做得非常出色。


OpenAI研究掌舵人:300个项目的优先级博弈


Ashlee Vance:如我们所说,过去几年我对你有了一些了解,我想让大家多了解一些你的经历,同时也知道有很多AI爱好者想深入探讨一些专业问题。所以我们会尽量兼顾。我想先让大家了解一下你的工作,在我看来,若有说错的地方请纠正我:Sam(Altman)非常专注于研究,他是负责人,处于最高层。而你和Jako一起塑造OpenAI的研究方向,此外你还要决定算力如何分配给这些项目。所以你既要规划OpenAI的发展方向,又要负责具体的执行落地。我一直觉得这是一份棘手的工作,因为我能想象到所有人都会想尽办法从你这里争取GPU资源。


Mark Chen:确实,这是工作的重要组成部分——确定研究工作的优先级并对执行结果负责。首先,我和Jako每1到2个月会做一次梳理,把OpenAI所有的项目整理成一个大表格,大约有300个项目。我们会尽力深入了解每个项目,然后对它们进行排名。对于一家拥有500人的公司来说,让大家明确核心优先级非常重要,而且这些优先级需要通过口头明确传达以及算力分配的方式来落实。


Ashlee Vance:你说的500人,是研究团队的核心成员吗?现在公司总人数已经有数千人了,对吧?那这300个项目中,想必既有大型前沿模型,也有一些实验性项目。你是如何跟踪所有项目并决定哪些值得分配GPU资源的?


Mark Chen:没错,在进行这项工作时,必须聚焦核心路线图。我认为OpenAI与其他大型实验室的一个区别在于,探索性研究一直是我们的核心。我们不做重复其他实验室成果、在基准测试上追赶他人的事情,这不是我们的核心业务。我们始终在努力寻找下一个范式,并愿意投入资源去实现这一目标。可能很多人会感到惊讶,但实际上,用于探索的算力比训练实际模型的算力还要多。


Ashlee Vance:我很好奇,你如何避免被他人说服?因为每个人都会全力争取。我想到我在《纽约时报》工作时,有一个头版会议,每个人都想让自己的报道登上头版,都坚信自己的故事最重要,会尽全力说明理由。每个人都为自己要推销的内容付出了数周、数月的努力,所以这对他们来说就像生死攸关的大事。所以我觉得这对你来说肯定很难。


Mark Chen:确实是个艰难的过程,最难的决定是有些项目现在无法提供资金支持。但我认为这是良好领导力的体现:你需要明确传达“这些是优先级任务,这些是我们关注的重点,这些是我们认为能推动研究项目取得成果的方向”。其他事情当然也可以做,但必须明确其优先级排在第二位。


拒绝被动跟风:OpenAI的长期主义研究哲学


Ashlee Vance:你之前提到不被动应对竞争对手,我翻看笔记时看到这一点,你对此似乎颇为自豪。有些公司众所周知,你们处于领先地位,为行业设定标准,而他们只能被动应对你们的产品发布。我们这次采访是在Gemini 3发布几天后进行的,竞争对手之间难免有来回博弈。我知道基准测试存在争议,其价值有待商榷,但大家还是会争相在这方面取得领先。那么随着时间推移,你们如何保持那种“专注做好自己的事”的从容和理性定位?


Mark Chen:如今AI研究领域的竞争比以往任何时候都激烈。关键是不要陷入这种竞争漩涡,因为你总能通过发布小幅更新在几周或几个月内暂时领先竞争对手,但这并非长期可持续的研究方式。如果你能破解下一个范式,其意义将重大得多——你将塑造行业的发展方向,掌握该领域相关的所有衍生研究方向。以我们的Ro项目为例,这一点就很明显。两年多前,我们决定全力打造自己的语言模型,这在当时是一个非常不受欢迎的赌注。现在看来这似乎是显而易见的选择,但在当时,行业环境是“预训练机制和后训练机制都运行良好,为什么还要投资其他东西?”而如今,每个人都会说,语言模型是不可或缺的基础。我们就是要做出这样大胆的赌注,探索如何扩展算法,以适应比现在多一个数量级的算力。


Ashlee Vance:我理解这种理性,但实际操作中可能更困难。你们一开始是纯粹的研究公司,而如今的OpenAI已经有了产品线,部分业务看起来更接近成熟的微软或谷歌的产品线。你们需要兼顾很多方面。通常来说,公司发展到一定阶段,往往会更关注那些能直接影响底线的业务,而在研究上的投入会逐渐减少。你们现在可能还比较年轻,没有面临这些压力,但未来会如何应对?


Mark Chen:我认为这正是OpenAI最特别的地方。


Mark Chen:我们本质上仍然是一家纯粹的AI研究公司,这在其他公司中并不多见。我们最初是以非营利组织的形式成立的,我也是在那个时期加入的。公司的核心精神是不惜一切代价推进AGI研究,当然也要以安全的方式进行。实际上,我认为这是创造价值的最佳方式——专注于研究,赢得研究领域的领先地位,价值自然会随之而来。所以,过于沉迷于“提升底线”是一个陷阱,而实际上,如果你能做出最好的研究,盈利部分会变得非常容易。


Ashlee Vance:你从一开始就感受到了这种核心精神吗?


Mark Chen:是的,这种核心文化和内核一直保持至今。


Ashlee Vance:Elon Musk说过,你们这些人不应该被称为研究人员,本质上只是工程师。你怎么看?


Mark Chen:我认为他说得有道理。因为一旦你将研究科学置于工程之上,你就已经输了。当你构建一个大型模型时,很多工作都在于优化那些微小的细节——如何让内核运行得更快?如何确保数值计算准确无误?这是一项深入的工程实践。如果没有这部分工作,你就无法支撑起我们现在使用的如此庞大的GPU规模。


Ashlee Vance:因为人们对研究人员和工程师的看法存在一种神秘感,对吧?所以你是说,应该保持清醒的认识,不要被这种刻板印象所束缚?


Mark Chen:我觉得研究人员有很多不同的类型。我们一些最优秀的研究人员能想出无数个点子,其中很多可能并不靠谱,但就在你快要质疑他们的时候,他们会提出一些非凡的想法。还有一些研究人员非常擅长在明确的道路上执行到底。所以研究人员的类型多种多样,很难用一种刻板印象来概括。


预训练的突破与AI竞赛:OpenAI的底气与布局


Ashlee Vance:好的,我不会过多纠缠于竞争相关的问题。只是因为Gemini 3刚刚发布,我很好奇,当竞争对手推出新产品时,你个人或团队会有什么反应?大家会去体验它的功能吗?有没有什么固定的提示词或问题用来测试这些新模型?


Mark Chen:以Gemini 3为例,它确实是一个很不错的模型。我们会尝试达成共识——基准测试只能说明部分问题,仅从基准测试来看,我们对自己的模型很有信心。我们内部已经有性能与Gemini 3相当的模型,并且很快就会发布,后续还会推出更优秀的迭代产品。但再次强调,基准测试的参考价值有限,每个人都会用自己的方式测试模型。我喜欢给模型出一道数学题,到目前为止,即使是最先进的模型也没能完全破解。


Ashlee Vance:这是个秘密吗?


Mark Chen:或许说出来后,模型就会被训练来解答这个问题了。这是去年的一个有趣谜题——42问题。你需要创建一个模42的随机数生成器,并且可以使用一系列模小于42的随机数生成器作为基础组件,目标是尽可能减少对这些子生成器的期望调用次数。这是一个非常巧妙的谜题,语言模型能给出接近最优的解决方案,但我还没见过哪个模型能完全破解它。


Ashlee Vance:我们正朝着我想问的方向推进。不过在这之前,我知道你很有竞争力,你也告诉过我你讨厌失败。


Mark Chen:确实。


Ashlee Vance:我在想,如果知道Gemini 3之类的产品会在周四发布,你会熬夜到午夜用那个数学题去测试它吗?还是说不会这么极端?


Mark Chen:我认为做任何事情都需要有长远的眼光。我是一个容易着迷的人,任何事业都需要打持久战。过去半年,我们一直专注于预训练,特别是强化预训练工作。这是我们共同努力的结果,同时Jako也在OpenAI着力打造预训练团队,组建了一支顶尖团队,确保预训练的各个重要方面都得到重视。这也是我们现在有信心在预训练领域与Gemini一较高下的原因。


Ashlee Vance:好的,我想聊聊预训练,你们不会在新模型刚发布时就急于用谜题去测试它们,而是更注重长期的积累?


Mark Chen:完全正确。


从竞赛冠军到AI领袖:Mark Chen的成长之路


Ashlee Vance:我想聊这个谜题是因为我在OpenAI成立之前就认识Jako了,当时他正在参加编程竞赛,我也曾一度痴迷于编程竞赛。有个叫Kennedy的人,不知道他现在还出名吗?他当时就像是编程竞赛界的迈克尔·乔丹。我去Facebook观看过一次他们的年度竞赛。


Mark Chen:黑客杯(Hacker Cup)。


Ashlee Vance:对,黑客杯,我就是在那里第一次见到Jako。我知道你高中甚至小学就参加过数学竞赛,后来还参加过IOI(国际信息学奥林匹克竞赛)吗?


Mark Chen:我接触编程很晚,是大学室友说服我选了第一门编程课。当时我带着数学家的傲慢,认为数学是最纯粹、最难的科学,是真正能证明自己价值的领域。我当时可能太沉迷于竞赛了,但这后来变成了一件非常有意义的事情。一开始,这只是我和大学朋友保持联系的一种方式——我毕业于麻省理工学院,毕业后每个周末,我们都会登录竞赛平台参加比赛,以此维系友谊。久而久之,我发现自己在这方面很有天赋,开始取得不错的成绩,后来还为美国信息学奥林匹克竞赛等赛事出题,最终成为了该团队的教练之一。这是一个很棒的社区,你认识的Scott(Wu)也在其中。


Ashlee Vance:很多人可能对数学竞赛比较熟悉,因为他们可能看到过孩子们参加这类比赛。但IOI和这些编程竞赛有所不同。当然你比我更清楚,但在我看来,这几乎就像是解谜类的应用题,你需要找到最高效、最正确的解决方案,并且要和所有人竞争,每个人都在电脑上写代码。有些人试图快速完成,但他们的解决方案可能无法真正解决问题,这其中存在一种权衡。你后来进入了麻省理工学院的团队吗?


Mark Chen:算是之后加入的。


Ashlee Vance:但现在你是美国国家队的教练之一。


Mark Chen:是的,其中一位教练。


Ashlee Vance:是去年还是前年?美国队好像时隔很久没有夺冠了,后来是不是夺冠了?


Mark Chen:是的,其实每年顶尖人才的构成都很难预测,但两年前我们有一支非常出色的队伍,我相信他们赢得了那次奥林匹克竞赛。


Ashlee Vance:因为通常来说,夺冠的都是中国、俄罗斯、白俄罗斯、波兰这些国家的队伍,对吧?这项大型竞赛每年在不同的国家举办,场面是什么样的?有多少人参加?


Mark Chen:每个国家会选出顶尖的四名学生参赛。这既是一场竞赛,也是一场社交活动,这是一个紧密联系的社区,参赛选手后来都取得了非凡的成就。这是一场为期两天的激烈竞赛,每天只有三道题,需要在5小时内完成。你能感受到现场紧张的氛围和巨大的压力,但同时也充满了乐趣,大家会在这个过程中结交一生的朋友。


Ashlee Vance:作为教练,你这么忙,会花多少时间在这上面?具体会做些什么?


Mark Chen:说实话,这些孩子都非常有自驱力,有时候我的工作主要是管理他们的表现和策略。比赛中总会有顺境和逆境,甚至在一天的竞赛中也会有状态好和状态差的时段,不能让这些影响到心态。管理竞赛选手和管理研究人员有很多相似之处,只是时间尺度更长——研究人员也会有表现好的月份和表现差的月份,不能让一连串的失败打击到他们,因为这就是研究的本质。在某种程度上,很多工作都涉及到士气管理。


Mark Chen:另外一个有趣的发现是,最近我意识到,当模型被部署来解决这些竞赛题时,它们的解题方式和人类有很大不同。我们通常认为这些机器非常擅长模式识别,只要问题能映射到之前见过的问题,它们就能解决。但我注意到,在一些非常特殊、没有固定模式的问题上,我原本以为模型根本无法解决,但实际上这些问题对AI来说反而更容易。这让我觉得,AI与人类在前沿研究中的合作将会创造出惊人的成果,因为AI对难易问题的直觉与人类截然不同。


Ashlee Vance:这有点像AlphaGo的情况,对吧?当时AlphaGo走出了人类从未有过的棋步。


Mark Chen:我认为是这样的,尤其是在GPT-5 Pro出现之后。前沿研究已经迎来了一个转折点。我有一个很好的例子可以说明这一点:GPT-5 Pro发布三天后,我遇到了一位物理学家朋友。他之前也玩过一些模型,觉得它们挺有趣,但并不是特别有用。我让他用这个原型模型尝试解决他最新论文中的一个难题,模型思考了30分钟后就给出了答案。那一刻他的反应,有点像看到李世石在AlphaGo的第37手或第38手时的表情。我认为这种情况在前沿数学、科学、生物学、材料科学等领域会越来越多,模型已经达到了那个水平。


Ashlee Vance:我本来想问一个不算新颖的问题,因为自从深蓝(Big Blue)战胜国际象棋冠军以来,人们就一直在讨论这个话题。但作为一个关注各类竞赛的人,当看到这些模型解决了那些曾被视为人类智慧巅峰成就的问题时,我难免会感到一丝伤感。


Mark Chen:我能理解这种感受,但也不完全认同。我虽然擅长竞技编程,但从未达到过绝对顶尖的水平,或许这也是一种“复仇”吧。但我确实有过这样的时刻。在开发推理模型的过程中,我们一直在跟踪模型在编程竞赛中的表现。项目初期,它们的水平甚至不如普通的竞赛参与者。但随着时间推移,它们的能力不断提升。我还记得有一次开会,看到模型的表现超过了我自己,那一刻真的很震惊——没想到它们能这么快突破人类的水平上限。当然,Jako当时有点得意,但几个月后,模型也超过了他。所以现在,模型确实已经达到了竞赛的前沿水平。今年夏天的编程竞赛结果就很能说明问题,我们的模型在全球顶尖优化竞技程序员中获得了第二名,而去年它还排在第100名左右,今年直接冲进了前五。


Ashlee Vance:你认为10年后我们还会举办这类竞赛吗?


Mark Chen:我认为会的,因为它们很有趣。当然,那些为了给简历加分而参加竞赛的人可能会退出,但那些真正擅长竞赛的人都是出于热爱才参与的,我觉得这种热情不会消失。


Ashlee Vance:我做相关报道时了解到,在俄罗斯等一些国家,如果你在这类竞赛中表现出色,几乎可以免试进入任何大学。我看到美国队的队员也都进入了哈佛和麻省理工学院,他们的发展都很不错。但美国似乎没有形成这样的体系?


Mark Chen:你不觉得吗?面试制度在未来可能会被打破,这一点大家已经有所察觉,甚至大学考试和作业现在也受到了AI的影响。我认为我们需要新的方式来评估和发掘真正有能力的人。


Ashlee Vance:了解谁的表现出色,谁真正有实力。


Mark Chen:是的。我有一个想法,基于我们的面试经验,我们可以让候选人与ChatGPT交流。这是一个特殊版本的ChatGPT,它会评估候选人是否具备在OpenAI工作的能力,候选人需要通过对话让它深信自己符合要求,当然不允许越狱。我们会查看对话记录,或许这类测试能更准确地反映候选人未来的表现。


Ashlee Vance:所以你们现在还没这么做,但正在考虑用这种有创意的方式改革面试流程?


Mark Chen:是的,正在思考各种创新的面试改革方案。


Ashlee Vance:硅谷向来以脑筋急转弯式的面试题闻名。你数学很好,小时候出生在东海岸?


Mark Chen:是的。出生在东部,后来搬到了西海岸。


Ashlee Vance:然后小学有四年时间在台湾生活?


Mark Chen:四年。


Ashlee Vance:你父母曾在贝尔实验室工作,所以你出身于工程世家。你的背景非常有趣,因为你体验过多个创新中心的氛围,尤其是父母在贝尔实验室的经历对你影响很大。


Mark Chen:是的,我成长在一个充满科学氛围的环境中,餐桌上的话题都是各种谜题之类的东西我也体验过东海岸传统的贝尔实验室文化,后来父亲来西海岸创业,我小时候也接触到了初创公司的氛围。当然,搬到台湾的经历是一个巨大的转变——学校要求穿校服,校园周围有铁丝网,同时也让我体验到了那种严谨的治学态度。这些成长经历都非常宝贵。


Ashlee Vance:所以那里的学校更严格吗?


Mark Chen:我觉得那里的教育体系灵活性和自由度相对较低,但也教会了我很多东西。


Ashlee Vance:好的。你当时肯定想回到美国上大学吧?


Mark Chen:当然,没错。


Ashlee Vance:然后你进入了麻省理工学院,我想那里肯定有很多有趣的圈子,麻省理工学院向来如此。


Mark Chen:是的,那里太棒了。


Ashlee Vance:那里有很多。


Mark Chen:我和Jako、Steinore(现在在做Translucent)以前在计算机科学课上一起做项目。还有Paul Ciano,他现在也是OpenAI的一员,很多AI领域的知名人士都来自我们那一届。


Ashlee Vance:我们之前聊到过竞技编程,比如Cognition的Scott Wu,他现在因为出色的数学能力而成了网红。你也是通过编程社区认识他的吗?


Mark Chen:是的,通过编程社区认识的。


Ashlee Vance:现在我发现你们这些人把竞技精神用到了扑克上。我记得有一次参加一个活动),深夜我经过一张桌子,看到你、Scott,还有Palantir的Sean等人在玩一场气氛相当紧张的扑克游戏。所以你们是把数学和竞技技能用在了这里?


Mark Chen:扑克确实是一款很有趣的游戏,我把我的人生看作一系列痴迷的事情,扑克曾经就是其中之一。我在扑克中最大的领悟是,它远比人们想象的更偏向数学游戏,而不是靠读心术和虚张声势。你对扑克了解得越多,就越会认同这一点。我以前很不擅长虚张声势,但当你知道从数学角度来看虚张声势是正确的选择时,就会变得很容易,不会感到任何紧张。有趣的是,一款被认为非常依赖人类直觉的游戏,其获胜的核心机制却深深植根于数学。前几天我还在想,语言模型也是如此。生成语言是一个非常人类化的过程,但背后却有一个能和人类做得一样好的数学模型。我一直在思考这个问题。


Ashlee Vance:作为一名作家,我对此深有同感。我大学时学过狄更斯等人的哲学思想,现在却在思考如何找到竞争优势。你和Scott在数学方面都天赋异禀,我真不明白你们怎么能在计算上胜过对方。


Mark Chen:其实现在这更多是我们聚会聊天的一种方式。过于认真地对待扑克会失去它的乐趣,所以我的扑克痴迷已经是十多年前的事了,现在只是把它当作一种娱乐。


Ashlee Vance:你这么说只是因为我看到Scott赢了吧。


Mark Chen:他可能确实赢了。


Ashlee Vance:他当时可是非常认真的。所以你毕业后的第一份工作是直接从麻省理工学院去了高频交易公司?


Mark Chen:是的,说实话,我并不怎么为这份经历感到自豪。对于麻省理工学院那些量化导向的学生来说,这是一条很常见的道路。这确实是一个能充分发挥智力的精英体系,你的盈利能力可以直接体现你的工作成果。但从文化上来说,我很难适应那里的环境。在那里,当你有了新发现,第一反应是尽可能不让别人知道,因为知识就是你的价值所在。所以即使在公司内部,也存在着激烈的竞争氛围,人们彼此之间缺乏信任。而且这感觉像是一个封闭的生态系统。如今,当高频交易领域的人取得突破,让他们的算法更快一点时,其他人并不会有太多感觉。久而久之,我在工作了四五年后突然意识到,我们一直在和同一群对手竞争,每个人的速度都快了一点,但世界真的因此发生了很大变化吗?我觉得是时候做些别的事情了。当时各种机缘巧合凑到了一起。AlphaGo的比赛给了包括OpenAI很多人巨大的启发。我觉得这个模型能够做出创造性的事情,我真的很想了解其背后的原理。


Ashlee Vance:所以你当时在观看比赛,那时候你在高频交易公司工作时会阅读AI研究论文吗?


Mark Chen:不会。但看完那场比赛后,我深受启发,开始深入研究AI。我当时的目标之一是复现DQN的结果,这个网络能够以超人的水平玩很多雅达利游戏。从那以后,我就开始了我的AI之路。


Ashlee Vance:你是利用业余时间做这些的吗?所以你白天工作,晚上回家后就。


Mark Chen:是的。


Ashlee Vance:在那之前,George Hotz在自己的车库里打造了一辆自动驾驶汽车。他有时候会发表一些宏大的言论,可能并不完全准确或适用于所有人,但他说AI还很年轻,你只要阅读10、20或30篇研究论文,就能掌握整个领域的知识。这让我觉得很有趣,AI虽然可以追溯到几十年前,但在那个特定的时刻,它的知识体系还很浅显。


Mark Chen:我总是给那些害怕进入AI领域的人这样的建议:这个领域的知识体系其实很浅显,花3到6个月时间选择一个项目,比如复现DQN,你很快就能达到前沿水平。过去几年,这个领域的深度有所增加,但远不如理论数学或物理学那么深奥。


Ashlee Vance:我前几天问过Jako这个问题,不知道为什么我对这个很着迷。在数学领域,人们往往在二三十岁时做出最出色的工作,取得重大突破,年纪越大,就越难再有这样的时刻。你觉得AI领域也是如此,依赖年轻人阅读论文并产生洞见,还是说这是一个可以贯穿整个职业生涯的领域?


Mark Chen:我认为可以贯穿整个职业生涯。OpenAI本身的文化确实比较年轻,但我不认为年纪大就不能做优秀的研究。年轻人的优势在于对“事情应该如何做”没有先入为主的观念。随着时间推移,你可能会形成自己的愿景,这是一件好事,但也可能会让你陷入“研究就该这么做,好结果就该这么来”的思维定式。而年轻的研究人员在这方面往往更具可塑性。


在OpenAI的职业生涯,从独立贡献者到团队管理者


Ashlee Vance:你在OpenAI的职业生涯很有趣,因为你似乎一加入就担任了非常重要的职位。


Mark Chen:当时公司只有两个团队,我是以驻留研究员的身份加入的。很明显,我当时不是专家,也没有博士学位。在OpenAI,驻留研究员的任期通常是固定的,我很幸运能在那段时间学习到如何从宏观层面思考研究问题。


Ashlee Vance:驻留研究员在这种情况下,相当于负责人的得力助手吗?


Mark Chen:驻留研究员通常来自相关领域,OpenAI希望投资和培养这类人才。所以驻留期的前半部分就像是压缩版的博士课程,之后就会深入参与各种研究项目。


Ashlee Vance:所以你每天都和Ilya交流,他在塑造你的思维方式吗?


Mark Chen:他负责我的项目、课程和学习,我会经常向他请教“这是什么意思?”“为什么人们会追求这个方向?”之类的问题。


Ashlee Vance:我看领英上的信息,你的第一份正式职位是前沿研究主管?


Mark Chen:我做了三年多的独立贡献者(IC),从事独立的研究项目。我当时专注于生成模型,因为那正是Ilya当时的研究重点。过了一段时间后,我才开始管理团队。


Ashlee Vance:你说的生成模型,大多数人可能会认为DALL-E是公众最熟知的第一个重大项目,对吗?


Mark Chen:这样说公平吗?我认为DALL-E的发布标志着我从独立贡献者向管理者的转变,这是我负责的一个大型项目。如今我非常自豪的是Image GPT,这是一个概念验证项目,证明了除了语言之外,像图像这样的内容也可以输入到Transformer中,模型能够自动学习到很好的表示,理解图像的内容。这可以说是DALL-E的前身,而当时我处于管理岗位的另一端。在这两个项目之间,我还做了一项让我很自豪的独立贡献者工作——Codex,我们为评估编程模型建立了很多框架,也深入研究了如何让语言模型在编程方面表现出色。


Ashlee Vance:所以你选择加入OpenAI,在我看来有两种可能:一是在小池塘里当大鱼,这里有有趣的人;二是。我记得2018年的OpenAI只有大约20人,当时我觉得它可能不会成功,因为谷歌似乎已经垄断了这个领域,而这么小的一个团队却要挑战需要数十亿美元资金支持的项目。而且那时候还没有规模化的概念,谷歌已经在AI领域投入了大量资金,虽然形式与我们现在认为的不同,但当时你的手机上已经有了翻译等AI应用。对你来说,这是一个艰难的决定吗?还是说你很快就抓住了加入OpenAI的机会?


Mark Chen:我认为有两个关键因素:一是愿景和抱负,OpenAI当时无疑具备这一点;二是人才,要支撑这样的愿景,必须有足够的人才。OpenAI是少数几个既有远大抱负,又有足够人才来实现这一抱负的地方。我很幸运,在大学时就认识Greg等一些人。


Ashlee Vance:所以你和Greg在麻省理工学院就有交集?


Mark Chen:我想我们高中时就一起参加过数学竞赛。是的,我当时给他发了一条信息,说“我不知道自己是否具备合适的技能,但这听起来是一个很棒的工作场所。”


Ashlee Vance:现在看来,这一切似乎都是突然发生的,而你也取得了巨大的成功。


Mark Chen:我自己也觉得很不可思议。从独立贡献者转变为管理者时,我其实非常犹豫,不知道自己是否擅长管理,而且我真的很享受独立贡献者的工作,在这方面也取得了不错的成绩,建立了很好的合作关系。但这确实是一段疯狂的旅程。


Ashlee Vance:是的。说到这里,你给我的印象一直是一个非常友善、冷静的人。不得不说,AI行业的历史上有一些相当戏剧性的肥皂剧式的时刻,有点像《权力的游戏》,充满了权力斗争。在我看来,现在的情况比以前平静了一些,但回顾过去,你说你需要学习这些管理技能,但其中一些事情似乎与你的性格相悖,你是如何应对这一切的?


Mark Chen:我觉得自己在OpenAI很幸运。我真心这么说,因为我遇到了很多真心为我着想的管理者,他们看到了我的才华并给予支持。当我还是独立贡献者时,Ilya就说“你应该把赌注押在他身上,让他负责Codex项目”。后来向Bob汇报工作时,我从未主动要求过晋升或调整级别,但这些都是自然而然发生的。一路上,每个人都给了我很好的建议。成长的一部分就是不断积累经验,没有比在OpenAI更好的地方积累这些经验了,这里有各种各样的挑战。而且我认为管理更多的是靠经验,而不是天赋。


Ashlee Vance:我不想让你感到尴尬,我也不知道你是否想过多谈论那段“动荡期”。但我采访过很多人,我也会为相关人员保密。有几个时刻让我印象深刻,比如你帮助组织研究人员联名请愿,希望让Sam和Ilya回来,然后一两天后,在Greg家或者Kelsey家有一场演讲。


Mark Chen:我想是在Kelsey家。


Ashlee Vance:这些时刻在我看来都非常意义深远,尤其是在危机时刻挺身而出,为自己坚信的事情发声,团结大家。在那样的时刻。


Mark Chen:是的,对我来说,那确实是一个非常关键的时刻。在“动荡期”之后的日子里,充满了不确定性,我和Nick当时都感到一种责任感——就像“狼已经逼近门口”,所有竞争对手的实验室都在打电话挖人,邀请他们跳槽。我当时设定的目标是“不能失去任何一个人”,最后我们做到了。那段时间,我们每天都会敞开家门,让大家可以来这里释放焦虑,同时帮助他们与领导层保持沟通,让他们觉得自己能够产生影响。久而久之,大家真的感受到了“我们同舟共济”的精神,思考如何做出改变,如何向世界展示我们的团结。我当时在几户人家之间来回奔波,我们想到了一个主意:“我们需要向世界展示我们是完全团结一致的,我们会为OpenAI而努力。” 于是就有了那份请愿书。这个想法大概是在凌晨2点确定的,到早上,超过90%的研究人员都签了名,每个人都在给朋友打电话,问“你要不要加入?” 最后,差不多有100人在请愿书上签了名。


Ashlee Vance:这其中有一点很值得说道,一开始Ilya和Sam似乎站在对立面,而Ilya是你的导师,后来Ilya又回来了。


Mark Chen:是的。


Ashlee Vance:这会不会很尴尬?


Mark Chen:不会,其实当时的信息很不透明,但从本质上来说,你很难合理地得出“Sam在这里做错了什么”的结论,因为像Greg和Jako这样极具诚信的人会因此辞职吗?我觉得当时的故事肯定有被曲解的地方。


Ashlee Vance:Jako在OpenAI待了很长时间。你觉得人们对Jako有什么不了解但应该知道的事情?他是一个非常有趣的人。


Mark Chen:他非常幽默,天啊,他有一种讽刺性的幽默感,真的让我觉得很有趣。说实话,这是我现在在OpenAI最喜欢的事情之一,我和Jako的默契度非常高。我们一起开会时,可以自由地交流想法,很快就能达成一致,然后传递相同的信息,在宏大的路线图上各自负责不同的部分。能和他合作是我很大的荣幸。我仍然对OpenAI的研究充满热情。我们就像一个大家庭,总是会受到攻击——任何公司成立后,都会试图从OpenAI挖人,他们想要我们的专业知识、愿景和世界观。我们培养了很多顶尖的研究人员,我认为OpenAI比其他任何地方都更能让AI领域的人才崭露头角。我仍然对他们充满保护欲,有人来挖人,我会尽一切努力确保他们在OpenAI工作得开心,让他们了解自己在路线图中的角色。


Ashlee Vance:是的,我在写这本书以及实时关注行业动态时也有这样的感受。回顾历史,你会看到Ilya取得了重大突破,谷歌开发了Transformer,还有其他一些人。有时候,推动行业前进的是这些个体,而这个领域仍然很年轻,个体仍然可以产生这样的影响。当我看到John Shulman、Alec等人离开时,我会想“哇,如果你们失去了这么多明星团队成员,怎么还能继续前进?” 但之后你们在推理等领域又取得了进展。所以我并不觉得这是个问题。


Mark Chen:我不同意这种总体的看法。如今要做出优秀的研究,确实有很多自上而下的方向需要下注,但OpenAI有着非常深厚的自下而上的文化,一些最好的想法往往来自最意想不到的地方。真正让我感到兴奋的是看到这些赌注逐渐展开、成型、规模化,推理就是一个核心例子。


Ashlee Vance:所以这让我想到,我们对明星人才的依赖程度有多高?因为你看到谷歌花了巨额资金把Demis Hassabis请回来。


Mark Chen:这就是行业的运作方式。我认为这是一个混合体:你必须投资于自己的人才培养体系,因为我对我们培养明星的能力非常有信心。但世界上确实有很多优秀的人才,每个人都知道他们很优秀。另一方面,我从Meta身上学到,OpenAI也可以非常积极地争夺明星人才,我也借鉴了他们一些激进的招聘策略。但总的来说,我们应该始终努力组建最优秀的团队,以实现我们的使命。


Ashlee Vance:这很有趣,因为这是一个相对较小的圈子,你们即使是竞争对手也会互相来往。这肯定很奇怪,因为你在某种程度上和不同的人都是朋友,但同时又在试图挖走他们的人才。


Mark Chen:这是一个在各个方面都竞争激烈的行业,但这正是我喜欢的地方。我本身极具竞争力,讨厌失败,无论是在研究还是招聘方面,我都会全力以赴。


Ashlee Vance:这让我想起了半导体行业的早期,情况也差不多。当时突然涌现出很多半导体初创公司,它们都在挑战物理极限。有人有了新发现,就会去酒吧,工程师们忍不住互相分享知识,然后又会被各自的公司拉拢。每个公司都以自己的方式迅速取得突破。


Mark Chen:你提出了一个有趣的观点,思想的传播是有一定基础速度的。公司对此有两种应对方式:一种是建立森严的壁垒,想尽办法保护信息;另一种是像OpenAI这样,我们不认为这是正确的运作方式,我们会尽可能快地超越别人。我喜欢开放的文化,人们可以自由地分享研究想法,我认为这是实现最快进步的方式。


Ashlee Vance:你、Sam和Jako现在是如何合作的?我想人们有时候从公告等信息中可以看出,Sam更倾向于研究,而不是公司的日常运营,你能看出来研究是他的热情所在。从头衔和最近的组织架构来看,你和Jako在这方面投入很深。我知道Sam也具备技术背景,你们一直都在深入研究相关工作,而Sam需要和所有人沟通。我很好奇你们三个人之间的动态,你们是否总是在资源分配等问题上达成一致?


Mark Chen:我们三人的合作非常紧密,我每天都会和Sam、Jako交流。Sam热爱研究,喜欢了解研究进展,喜欢和研究人员交流。在某种程度上,他非常善于把握研究工作的脉搏,我也依赖他去发现那些潜在的问题,并向我反馈。


Ashlee Vance:是因为他的性格还是。


预训练与算力博弈:OpenAI 的技术突破与竞争底气


Mark Chen:可能只是一些小事,比如“办公室的布局使得这个团队和那个团队难以合作,而这两个团队需要合作才能实现我们想要的突破”。这些事情都非常重要。我和Jako花了很多时间思考如何设计工作以确保成功,将具有不同优势的人配对在一起,以及如何激励人们朝着我们认为重要的方向努力。这是我们工作的重要组成部分。


Ashlee Vance:那Sam呢?他会阅读论文吗?会和你们聊天吗?


Mark Chen:是的,他会阅读很多论文,和研究人员交流,了解他们对世界的看法以及正在进行的研究。当然,他还负责很多研究之外的重大事务。


Ashlee Vance:现在我要问一些专业问题了,不知道其中有些内容是否属于高度机密。不过也许你会不小心透露一些,我们就能了解到了。在我参加的一些会议中,我们也稍微讨论过预训练,我想我可以安全地谈论这个话题。预训练似乎是一个你们觉得已经有所突破、非常兴奋的领域,你们认为这将是一个重大的进步。这之前可能是一个被忽视或存在问题的领域,事情可能没有按照你们的预期发展。你能告诉我们你们取得了什么突破,以及这与我们之前看到的那些周期性重大飞跃相比处于什么水平吗?


Mark Chen:当然。从宏观层面来说,过去两年我们投入了大量资源来干预和理解预训练这个基础组件,并确保它能够有效运行。这确实起到了作用,但一个副作用是,我们在其他功能上的能力有所下降,比如预训练和后训练。在过去的六个月里,我和Jako做了很多工作来恢复这些能力。预训练就像一种需要锻炼的肌肉,你需要确保所有的细节都保持新鲜,确保人们在前沿的优化和数值计算方面开展工作,同时也要确保大家的注意力都集中在这上面。这也是我最近重点关注的事情之一,引导和塑造公司内部的讨论话题,现在这个话题就是预训练。我们认为预训练还有很大的发展空间,很多人说规模化已经过时了,但我完全不这么认为。在某种程度上,所有人都关注RLHF,这对我们来说反而是一个机会,因为我们认为预训练还有很多潜力可挖。由于这些努力,我们训练出了性能更强的模型,这也让我们对年底应对Gemini 3等产品的发布充满信心。


Ashlee Vance:我有时候会在脑海中想象,你们一直在飞速前进,整个行业也在飞速发展。我们正处于这样一个时刻:收集了互联网上大量的信息,把它输入到超级计算机中,然后就有了模型。或许我需要为那些没有密切关注这个领域的人解释一下。在最初的阶段,你有大量的数据,把它输入到机器中,一开始可能会对数据进行一些整理。而现在,我们是不是只是在学习更高效地整理这些数据?


Mark Chen:你提到的这一点我也一直在思考。当你考虑预训练时,你是在拿人类撰写的数据,教模型如何模仿人类的写作模式。在某种程度上,这也限制了模型能力的上限——当你只是在模仿人类的写作时,你很难超越人类已经写下的内容。所以我们会在RL(强化学习)等方面开展工作,引导模型去解决人类能想到的最难的任务,让模型跳出模仿人类的思维框架,实现更高水平的能力。但现在出现了一个有趣的问题:如何超越人类今天的能力水平?这也带来了一个严重的测量问题。即使在科学领域,人类能判断超人的表现吗?我们怎么知道这个超人数学家比那个超人数学家更优秀?我们真的需要为这个领域的进步制定更好的评估方法。到目前为止,我们很幸运,像IMO(国际数学奥林匹克竞赛)、IOI这样的竞赛能告诉我们谁是世界上最顶尖的数学家。但当模型的能力超越人类后,就再也没有这样的测试了。


Ashlee Vance:你让我想到了一个问题,回到IOI的话题上。抱歉,我们又绕回来了。我经常看到那些在竞赛中表现出色的孩子被谷歌、Facebook等公司录用,但他们后来并不总是成为最高级别的管理者或最著名的工程师。这可能是他们自己的选择,但我不认为那个被称为“迈克尔·乔丹”的Kennedy最终在这些公司工作。这完全可能是他自己的选择,我并不是在贬低他,但我不确定在竞赛中表现出色的人是否一定能成为最伟大的工程师。所以,如果AI在这方面特别擅长。


Mark Chen:我们能学到什么?我喜欢在AI领域工作的一点是,与标准的工程文化相比,这里更崇尚精英制度。我以前尝试过很多次,也学到了一个教训:很难让一个得不到研究人员尊重的人来领导一个团队。在研究领域尤其如此。当出现分歧时,你必须做出非常有力的技术判断,比如“这是正确的方向”“这是值得投入的项目”。如果你的判断失误,就会失去研究人员的尊重。所以在AI领域工作并创建一个强大的AI组织的乐趣之一是,我的团队成员都具备深厚的技术背景,和他们讨论技术问题非常有趣。


Ashlee Vance:好的,回到预训练的话题。在我看来,Transformer引发了这场巨大的飞跃。


Mark Chen:在我看来,推理的重要性与之相当,甚至更令人惊叹。


Ashlee Vance:在过去的几个月里,我和你们聊了很多,包括你、Greg、Ciano、Sam等人。我总是分不清你们是在保持乐观,还是在展示最好的一面。当你们暗示一些正在进行的工作时,你们是否已经能感觉到这是一个可以与之前那些重大时代性飞跃相媲美的进步?


Mark Chen:我认为是的。我们对GPT-5有很高的期望,我们也经常讨论合成数据等话题。还有很多其他类似的方向,我们认为这些方向都很有前景,并且正在积极地规模化推进。关键是要保持多样化的赌注组合,对那些显示出更多实证前景的方向加大投入和支持。


AGI 争议与科学赋能:OpenAI 的目标与行业回应


Ashlee Vance:两周前,Anjrey Kaparthy离职后说,他认为AGI还有10年的时间。一周前,我听到Dario Amodei说,他仍然坚持“天才团队”的理念,他似乎认为AGI可能需要两年时间。当你听到Andre的说法时,你有什么看法?


Mark Chen:是的,推特上总是有这样的循环:“AGI已经结束了”“AGI又回来了”,这些言论总是迎合当时的叙事,然后被放大。我是这样看待的。每个人对AGI的定义都不同,即使在OpenAI内部,你也很难让所有人在一个房间里就AGI的明确定义达成一致。以我把它比作工业革命:你认为是机器制造纺织品标志着工业革命的开始,还是蒸汽机?每个人都有不同的定义。我认为我们正处于实现AGI的过程中。对我来说,最重要的指标是“我们是否在产生新的科学知识,是否在推动科学前沿?” 自今年夏天以来,我感觉在这方面已经发生了巨大的转变。


Ashlee Vance:好的,从你说的这些话来看,我首先想到的是那些生物科技领域的初创公司,它们展示了一次性抗体和分子等成果。但我不知道这是否。


Mark Chen:是的,那次与物理学家的相遇给了我很大的启发,我们回去后就想“我们应该创建一个面向科学的OpenAI”。我们的目标是,对于那些现在已经意识到这些模型的潜力并希望利用它们加速研究的少数科学家,我们要尽最大努力为他们提供支持。我知道还有其他类似的努力,有些公司也致力于推动科学前沿,但我认为我们的目标与谷歌等公司在科学领域的努力有所不同:我们希望让每个人都有机会自己赢得诺贝尔奖。这不仅仅是OpenAI自己赢得诺贝尔奖(当然这也很好),我们更希望构建工具和框架,让所有科学家都能感受到这种加速效应,共同推动整个领域的发展。


Ashlee Vance:你说你对一些发现感到兴奋,有没有其他具体的例子?


Mark Chen:如果你想了解更多这样的例子,可以看看Sebastian的推特账号。最近有一篇关于开放式凸优化问题的GPT-5论文就发表在推特上,这与我们正在解决的一些核心机器学习问题密切相关。我知道有些人会把这些事情贬低为“只是花哨的文献搜索”,但实际上要复杂得多,我可以举一些例子详细说明。


Ashlee Vance:说实话,我现在有点不知所措,因为我是一个通才,但我经常报道生物科技领域的新闻。几乎每两天,就会有公司宣布“我们打造了一个AI科学家,一次性就成功开发出了抗体”。我一方面感到兴奋,另一方面,我认识这些公司里的一些人和真正的科学家,其中很多内容让我觉得要么是发生了惊人的事情,要么是我已经无法分辨现实和炒作的界限了。


Mark Chen:是的,我个人并不惊讶AI在生物学领域取得进展。我在计算机科学和数学方面有最多的专业知识,我们那里有专家可以证实这些发现确实在发生。所以这也是让我最有信心的一点,但我对AI在生物学领域的进展并不感到惊讶。


Ashlee Vance:在Anjrey发表那番言论之前,我就听到有人对AI提出了最大的批评。我听一个播客《Breaking Points》时,主持人是一个很聪明、知识渊博的人,但他一直在贬低AI,说AI没有取得任何进展,都是虚构的。所以这些发现确实在发生。


Mark Chen:我意识到了这个问题。需要明确的是,在设立OpenAI科学部门的过程中,我们与很多物理学家、数学家进行了交谈,实际上大多数人对AI并不乐观。他们仍然认为“AI不可能解决新的定理,这绝对不可能,一定有其他原因”。这就是为什么我觉得支持那些真正相信AI并愿意投身其中的人非常重要,这些人会超越所有人,我们希望构建工具并说服人们,这是进行科学研究的正确方式。


Ashlee Vance:所以,尽管每个人对AGI的定义都不同,但至少我听到的是,无论你怎么称呼它,在未来一两年内,我们将会看到一些戏剧性的变化。


Mark Chen:这有点像一个梗,对吧?“AGI还有两年就来了?” 我不认为我们现在处于这样的阶段,但数学和科学领域的这些成果让我坚信,AGI的实现已经不远了。在OpenAI内部的研究工作中,我们设定了两个非常具体的目标:在一年内,我们希望改变研究的方式,在研究开发过程中高效地利用AI实习生;在2.5年内,我们希望AI能够独立完成端到端的研究。这与现在的情况有很大不同:如今,你提出一个想法,然后执行、实现、调试。这意味着在一年内,我们非常有信心实现这样的目标:人类负责外层循环,提出想法,而模型负责实现和调试。


Ashlee Vance:除了预训练,我有时候从你们的谈话中能感觉到类似的事情。在我们的脑海中,至少在我看来,已经进行了大规模的基础设施建设。模型似乎每扩大10倍,性能就会有所提升。有一段时间有传言说,你们从GPT-4升级到GPT-5时,虽然获得了更多的算力,但并没有看到预期的结果。但我和你们聊得越多,就越觉得你们似乎认为,当时事情发展得太快,我们实际上还没有真正实现10倍算力的飞跃。我不知道我这个问题问得是否恰当。


Mark Chen:不过,我想分享一个想法:当人们问我“你们真的需要这么多算力吗?”时,我感到非常惊讶。因为每天我都在处理大量的算力请求,我的想法是,如果现在我们的算力增加3倍,我可以立即有效地利用这些算力;如果现在算力增加10倍,我可能在几周内就能充分利用这些算力并产生实际价值。所以对算力的需求确实存在,我没有看到任何放缓的迹象。听到人们问“你们真的需要更多算力吗?”,我感到很困惑。


Ashlee Vance:我想我的问题可能问得不太好。大致意思是,就像你们对预训练的突破感到非常乐观一样,你们是否同样认为,不仅仅是人们对GPU的需求,而且你们清楚地看到,规模化仍然是推动进步的关键?


Mark Chen:是的,我们绝对希望继续扩大模型的规模。我们有算法上的突破,能够支持我们扩大模型规模。Gemini 3确实有很多令人印象深刻的地方,但通过阅读细节我注意到,在数据效率方面,他们仍然有很大的提升空间,他们在这方面并没有取得太大的进展。而我们在这方面有非常强大的算法。


Ashlee Vance:是的,有一份泄露的备忘录显示,Sam在其中对Gemini 3的评价相当严肃。我正在找相关的引述,你。我相信你也看到了那份备忘录。这似乎是一个重要的时刻。


Mark Chen:是的。Sam的部分工作是注入紧迫感和节奏,这也是我的工作之一。我认为我们必须高度专注于规模化。我认为Gemini 3正是谷歌应该追求的正确赌注。同时,我也想说明,我们的很多工作都是为了给组织注入尽可能多的紧迫感。Gemini 3确实是一个很好的模型,我们有相应的应对方案,并且我们可以更快地执行后续计划。


Ashlee Vance:你会参与到与Jony合作的设备相关的事情中吗?我相信你会告诉我这个设备到底是什么样的。这是研究部门会参与的领域吗?


Mark Chen:是的,会参与。实际上,昨天我和Jony以及一些研究人员(包括我们的预训练负责人和后训练负责人)一起吃了晚饭,他向我描述了这个设备。我对ChatGPT未来的发展有这样的看法:如今,你与ChatGPT的互动方式在我看来非常笨拙,它并不具备真正的思考能力。你输入一个提示词,得到一个回应,在你输入下一个提示词之前,它不会为你做任何有价值的工作。如果你输入一个类似的提示词,它会花费同样多的时间思考,并不会因为你之前问过类似的问题而变得更聪明。我认为未来的发展方向是,记忆将成为一个大幅改进的功能。每次你使用ChatGPT,它都会深入了解你一些事情,思考你为什么会问这个问题,相关的问题是什么等等。下次你再使用它时,它会变得更加聪明。这就引出了一个问题:如何设计一款以这个为核心理念的设备?与Jony的合作非常有成效。


Ashlee Vance:你有这样的设备吗?


Mark Chen:我可能有,也可能没有。


Ashlee Vance:当我想到你们和Jony合作时,我觉得苹果是一家以硬件为核心的公司,这是史蒂夫·乔布斯一直痴迷的事情,这是一种工艺,一种艺术形式。据我所知,无论是你、Sam、Greg、Jako还是其他人,都没有真正做过硬件产品。Sam似乎非常重视设计,从他的建筑和房子就能看出来,但你们并没有相关的 track record。我一直认为史蒂夫·乔布斯有一种“品味”,我多年来遇到过一些老板,比如Josh Tetrick(曾任Beyond Meat CEO),他给我的印象就是一个有品味的人,无论是事物的外观,还是故事的讲述方式,都达到了很高的水平。我觉得这正是打造这类设备所需要的。我想这也是你们邀请Jony加入的原因之一,但你们必须有这样的互动。我们怎么知道你们中的任何人有这样的品味,能够塑造一款硬件产品?


Mark Chen:说实话,我们自己不需要有这样的品味——这是Jony的工作,他是品味的评判者。实际上,我发现一个非常好的现象:他们在设计方面的工作方式和我们在研究方面的工作方式有很多深层的相似之处——都需要大量的探索和构思,探索一系列假设,花费时间,最终创造出自己满意的成果。很高兴能让他们融入公司,现在我们之间有了更多直接的沟通,比如“我们将要推出的功能有这些”“产品的外形应该是这样的”,以及如何将它们结合起来。


Ashlee Vance:这么说可能有点粗俗,因为我一生都在崇拜和采访这些人。但有时候我会想,一群数学极客真的是打造AI计算机的合适人选吗?但我想这正是你所说的那种融合。


Mark Chen:是的,说实话,你说得对——最擅长构建AI功能的人和最有品味的人确实有所不同。我们有专门的团队,成员都对模型的行为有着很好的“品味”。我认为这是一种非常不同的哲学,需要不断问自己一系列不同的问题。比如一个关于“品味”的好问题(可能会在模型行为面试中问到):ChatGPT最喜欢的数字应该是什么?


Ashlee Vance:ChatGPT最喜欢的数字?


Mark Chen:是的。


Ashlee Vance:你会怎么回答?


Mark Chen:你会问我认为它最喜欢的数字是什么。好吧,我有一个愚蠢的答案,我去了普林斯顿大学,47是那里的幸运数字。


Ashlee Vance:我有一个ChatGPT让我问你的问题:回顾五年,你现在看到的哪些微小、脆弱、新兴的想法,你的直觉告诉你可能会成为重大突破的核心?


Mark Chen:有几个这样的想法,我不能透露太多细节,但我真的很兴奋能将它们规模化。


Ashlee Vance:有什么提示吗?这些想法属于哪些领域?


Mark Chen:我最近主要专注于预训练、RL领域的一些小想法,以及如何将它们整合在一起的一些思路。


Ashlee Vance:所以你可能有也可能没有那个设备,而且没有任何提示。


Mark Chen:是的。


Ashlee Vance:好吧,我们聊了很多内容,非常感谢。目前人们对你们有什么技术上的误解,你想澄清一下吗?


Mark Chen:我认为最重要的一点是,OpenAI的任何研究人员都会告诉你,这是一家以研究为中心的公司,核心是纯粹的AI赌注。我们的目标是构建AGI,不受任何干扰。我认为在产品打造方面,一切都自然而然地源于此。在研究方面,我们希望实现AI研究的自动化,自私地说,我们希望加速自己的进步,然后实现科学发现的自动化,当然还有经济实用型工作的自动化。我认为这些支柱都在逐步实现,过去一年最大的进展就是在科学研究自动化这个支柱上——这正在成为现实。


Ashlee Vance:你现在多大了?


Mark Chen:34岁,即将35岁。


Ashlee Vance:即将35岁。你还有社交生活吗?


Mark Chen:说实话,没有太多。过去两周,我每天的工作会议都要开到凌晨1到2点,但我热爱这份工作。有很多工作要做,有很多人要招聘,有很多方向要引导,为什么要浪费这个黄金时刻?如果我们正处于一场类似工业革命的变革之中,你就应该尽可能地利用这个机会。


Ashlee Vance:我听说你在办公室睡觉的故事。


Mark Chen:哦,那也是一段有趣的经历。说实话,在公司的某些时期,比如Barry Dever离开后自己创办公司时,工作确实需要这样。当我仔细回想那种深层的情感时,其实是对团队的保护欲。


Ashlee Vance:在Mi之后。


Mark Chen:那段时间,我在办公室睡了一个月,我需要保护研究工作,它就像我的孩子一样。


Ashlee Vance:所以你们经历了这些波动。有过“政变”,每个人都在试图挖走你们的人(我想这种情况一直都在发生),但有一个转折点,Meta决定建立这个大型实验室。你认为我们现在正处于这样的阶段吗?


Mark Chen:我记得有一次开会对我的下属说:“我现在正在处理这件事,等我完成后,就不会再有这样的紧急情况了。” 但现在我完全意识到,构建AGI的风险足够高,总会有各种事情发生。重要的是在所有这些事情中,能够明白什么是真正重要的。


Ashlee Vance:几个月过去了,自从那些紧张的时刻(我想是2024年12月或1月)以来。


Mark Chen:更早一些,是的。


Ashlee Vance:现在回想起来,看到那之后的发展,你对开源模型和中国的开源模型有什么想法?


Mark Chen:是的,我认为那是我第一次意识到,坚持我们自己的研究项目是多么重要。当DeepSeek模型发布并走红时,每个人都在说“OpenAI是不是迷失方向了?这些模型是不是要赶上了?OpenAI的回应是什么?” 而我们正确的做法是加倍投入我们自己的研究项目,我认为这绝对是正确的选择。


我还没有看到DeepSeek的后续模型。他们是一个非常强大的实验室,但从根本上说,我们应该专注于创新。DeepSeek很好地复制了我们一系列模型中的想法,但我们应该专注于创新。


Ashlee Vance:所以你认为500人这个数字,随着公司的发展会增长吗?还是说这是一次能追求多个重大想法的最佳人数?


Mark Chen:说实话,我觉得甚至可以用更少的人做到。而且随着我们拥有AI研究人员或实习生,如何围绕这一点设计工作模式就成了一个真正的问题。但我确实非常注重人才密度。我喜欢进行各种这类范围的实验,例如在今年第二季度,我认为“研究部门不再开放任何招聘名额,如果你想招人,就必须确定谁离开。” 我认为这类实验非常重要。你不希望工作扩散到无法管理的程度,你希望保持很高的人才标准。


Ashlee Vance:好吧,我保证这是最后一个问题。我记得有一次开会,我想你和Jako在这一点上达成了一致,但我肯定你当时提到了项目归属权的问题,你似乎认为人们对这个问题有点过于痴迷了。显然,AI起源于学术界,在学术界,发表论文是一件非常值得骄傲的事情,归属权是一个非常重要的问题。我想我还记得那次会议上你的观点。所以我们是否已经进入了一个新的阶段,归属权不再那么重要,或者这只是一家公司的情况,谁做了什么并不那么重要?


Mark Chen:我真的很喜欢这个话题。我认为过度关注功劳是一件非常糟糕的事情,但另一方面,我实际上觉得作为一家公司,无论是在内部还是外部,认可功劳都很重要,而很多公司实际上都回避了这一点。整个行业已经不再像以前那样在论文中列出功劳名单,但Jako和我最终决定在OpenAI继续这样做。当然,反对的声音总是“你这是把你们的顶尖人才拱手让人,其他公司都会积极招聘这些人”。但我认为这很重要:我们应该认可那些做出杰出工作的人,我们应该继续成为培养AI超级明星的摇篮。说实话,为公司里最优秀的人赢得声誉对我们来说很重要。


Ashlee Vance:所以你也是在说,研究人员个人应该少关注这一点?还是我记错了?


Mark Chen:不,当时房间里确实有这样的情绪。实际上,Jako和我在这一点上持不同意见。


Ashlee Vance:我的笔记里是这么写的。


Mark Chen:是的。但我认为我们应该给予应有的认可,即使冒着让所有人都知道我们顶尖人才的风险。我甚至认为,OpenAI是人均获得外部认可最多的公司。


Ashlee Vance:好吧。最后一个问题。你是在OpenAI还是一家研究公司、非营利组织时加入的。公司成立之初,创始人的目标是成为谷歌的制衡力量,确保AGI的安全到来。你来自高频交易领域,看到了这些有趣的事情发生。我相信你会说你希望AGI安全地到来,我明白这一点,但从你的职业道路来看,你是一个聪明、好奇的人,看到了有趣的事情发生。你不一定非要从哲学上真正关心这个问题,或者想要看到超级智能的出现。所以我想听听你最初为什么要做这件事?


Mark Chen:是的,在安全和对齐方面,我也负责OpenAI的对齐团队。说实话,我认为未来一两年最大的挑战之一就是对齐。对于那些关注这个研究领域的人来说,我认为OpenAI在过去一年可能做了最好的工作。我这么说是因为在scheming等方面已经有了很多研究——你向模型投入的强化学习算力越多,就越能测量到自我意识、自我保护等特征,甚至可能出现模型scheming的情况。这很可怕,因为模型最终可能会给你一个你期望的正确答案,但它的思考过程可能非常扭曲。我认为随着模型为我们完成更多复杂的任务,了解它的思考过程将变得超级重要。


Ashlee Vance:我试着回想我问这个问题的初衷,大致是:机械可解释性是一个术语,指的是试图理解这个黑箱的运作方式。我想知道的核心是,我们做这件事的技能是否能跟上AI系统的复杂性,或者我们是否会陷入一个失控的局面,永远无法了解这个东西是如何工作的?


Mark Chen:是的,我认为早在GPT-4发布时,我们做了一个我非常自豪的决定:我们不会监督模型的思考过程。我认为当你给模型设定激励,让它给出人类喜欢的思考过程时,它不一定会诚实,不会告诉你它的真实意图。因此,通过这种方式,我们能够持续观察模型的思考过程,将其作为理解对齐的一种工具。几个月前刚发表了一篇关于这个主题的论文,探讨了随着时间的推移,这将如何演变成为一种工具。所以我认为我们在设计方面做出了很多非常好的选择。我真的很担心未来的一个世界:模型会告诉我们一些非常有说服力的事情,但我们无法确定模型是否与我们对齐,是否符合我们的价值观。所以我认为在这方面有很多有趣的方向可以探索。你能设计游戏吗?或者设计框架或环境,让模型互相监督,或者以某种方式共同进化?或者让模型之间唯一稳定的平衡状态是诚实?是的,我认为还有很多非常令人兴奋的工作要做。


Ashlee Vance:好吧,非常感谢你的参与。我很高兴我已经足够大了,不需要参加超级智能ChatGPT的面试。非常感谢Mark。我知道你超级忙,所以再次感谢你。


Mark Chen:谢谢,非常感谢你的邀请。


原视频:How OpenAI Shapes Its Research And What's Next - EP 46 Mark Chen

https://youtu.be/ZeyHBM2Y5_4

编译:Ellis Du


文章来自于“ZPotentials”,作者“CMP”。

AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI数据分析

【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。

项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file

本地安装:https://www.deepbi.com/

【开源免费airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。

项目地址:https://github.com/hitsz-ids/airda

2
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0