ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
最近几年TOP100的AI论文背后,揭示了硅谷科技创新的一个新配方……
5304点击    2024-11-15 10:51

最近,专注做AI转型的Zeta Alpha对2023年引用次数最多的 AI 论文进行了排名,列出了影响力最高的100篇论文,引发了业界热议,并且就论文的机构也做了一个梳理。


我们TOP研究院也发现了一些有趣的现象:


1,最近一年,OpenAI、Google等实验室发论文的数量明显降低了,特别是谷歌儿,可能是自己种的树但没有摘到桃子,郁闷地开始走封闭式的研发策略,即少发论文、多做闭源模型;不过,微软、Meta等公司依然非常活跃,像个e人一样开放地分享研究成果。


2,硅谷依然是AI的绝对圣地:一半以上的论文都出自于硅谷,论文产地包括斯坦福大学、加州大学伯克利分校这两所顶尖高校,以及谷歌、Meta、微软、Nvida、OpenAI等科技巨头。


3:如果看2020年与2022年这两年,硅谷科技大厂所产生的TOP 100论文数量甚至占据了半壁江山,特别是,“巨头支持+顶级人才干活”的配方贡献了数量最多的TOP级别的AI论文。



这有点“反传统”。


因为传统上,学术界是推动科研的主力,发论文、做开放性研究都是学术界在打头阵。


现在风水轮流转,转到了产业界了?


而且如果你去看论文背后的人才,很多人也没有走“学术派”的路线。


之前,Aminer和智谱研究发布了《ChatGPT团队背景研究报告》,揭秘了ChatGPT背后的87人团队:其中10位成员直接从谷歌跳槽而来,57人来自其他科技大厂包括百度、Facebook、Uber、Stripe、NVIDIA、Apple、Quora、Microsoft、Dropbox以及DeepMind等,只有3位成员出身于科研机构,2位高校教职的成员。


数据来源:AMiner 科技情报平台,时间点为2023年2月


为什么产业界现在成了人工智能研发的主力军?


而不是我们传统上认为的学术界?或者是政府的实验室?


当然,在AI这个领域,有一些独特的地方。


最大的特点是——钱。


AI研发的“卷王”不止是脑力比拼,


更是算力和钞能力的竞赛。


说到产业界的科技大厂对AI人才的吸引力,


首先就不得不提到丰厚的薪资包裹。


当下在硅谷顶尖的ML的工程师,除了基本薪资之外,4年股权激励总价值可以到100万到300万美元,研究科学家(research scientist)的股权激励更高,从170万到420万美元不等。



要知道,这些科学家和工程师仅仅是IC(Individual Contributor,即不带团队的个人贡献者),但收入待遇绝对可以和管理层媲美。


华为前研发工程师Shakarim Soltanayev直白地说,“产业界的工资通常比学术界高得多,而且通常还有额外福利,特别是股票期权或股权是一个很大的吸引力,尤其是在科技公司。这些财务激励措施可以提供长期的保障,这在学术界很难实现,因为在学术界,研究人员可能面临基于补助金的资助周期和较低的薪水,尤其是在职业生涯的早期阶段。”


除了大包裹,


产业界的吸引力更在于他们能提供资源支持。


像GPT这样的大模型训练成本早就上亿,需要百亿级参数规模的算力支撑,这种资源投入量级,除了微软、Google、Meta这些拥有“钞能力”巨头,没几家机构能负担得起。


数据显示,Amazon, 谷歌, Meta, 苹果与微软等的年度研发支出都在200亿美元以上,远超很多国家的科研预算而这些巨额预算的大头,很多都砸在了AI研发,也就是吸引人才、提供计算资源、云服务、全球数据、硬件等等资源上。



在这样优渥的环境下,“巨头支持+顶尖人才干活”这一模式能在AI领域产生大量的科研论文、创新成果也就不足为奇了。


相比之下,学术界的资源就很捉襟见肘了。


去年,斯坦福教授李飞飞就曾建议美国政府资助建立国家级计算与数据集仓库,因为人工智能模型的成本越来越高,现有的科研经费根本不足以支撑高成本的AI研究,很多顶尖人才只能选择前往硅谷去产业界,这损害了对新兴技术的独立研究。


不过,目前这个问题还是没有办法得到解决。



“巨头支持+顶尖人才”的黄金组合不仅限于AI,


其他高科技、资金密集型行业也在复制这一模式。


比如,一直都重科研投入的生物医药领域,制药大厂每年投上十亿美元级别的研发经费,像辉瑞这样的巨头,2020年疫情爆发时能迅速推出疫苗,靠的就是背后强大的资金和科研资源。


现在,随着AI在生物医药领域的深入应用,科技巨头也纷纷涌入赛场。


之前我们说到诺贝尔奖得主创办的AI生物医药公司--Isomorphic Labs,其背后的金主爸爸就是谷歌。谷歌给了大量的资金与资源来构建和训练AI模型——这是一个典型的“巨头支持+顶尖人才干活”的模式。



再比如航天领域,航空航天和太空探索,这些领域的研发成本极高,单次火箭发射、卫星制造、太空探索,这些项目动辄数亿美元的成本,普通公司承受不住,然而,SpaceX、蓝色起源等公司依然汇集了来自航天工程、材料科学、计算机科学和物理学的顶尖的跨学科团队,真就突破了很多技术瓶颈。



显然,这也是一个“巨头支持+顶尖人才干活”的模式。


近年来,科研领域的“低垂果实”已经被陆续摘完,创新之井越来越难挖,


需要大量高水平的创新人才协作,创新的成本也越来越高,科技创新越来越贵,


而能提供足够的资金与资源的,除了举国体制之外,往往只有少数口袋深厚的科技巨头。于是,越来越多的行业也正变得与AI一样,依赖“巨头支持+顶尖人才”的配置了。


此外,我们观察到的另外一个趋势是——


学术界和产业界之间的“人才双向流动”越来越频繁。


过去,学术界和产业界泾渭分明:前者以理论研究见长,后者以市场应用为导向。


而如今,两者的边界日渐模糊,越来越多的学术专家带着最前沿的理论成果涌向产业界,帮助企业实现技术落地。同时,企业中的顶尖研究人员也频频回归学术界,将应用实践的经验带入基础研究。


比如,AI和深度学习领域的领军人物杨立昆(Yann LeCun),目前在纽约大学和Meta都有职务,算是学术界和产业界的“双栖”人才。他一方面是纽约大学的教授,主要从事机器学习和人工智能的基础研究;同时他还是Meta的AI研究的首席科学家,负责Meta的AI研究方向,顺便吸引了一大圈顶尖人才。在他的带领下,Meta AI研究团队发布了一系列影响深远的AI模型和算法,对整个行业的技术创新产生了重大影响。



2022年,一项由耶路撒冷希伯来大学经济学家Michael Gofman和北京长江商学院Zhao Jin联合开展的研究追踪了 211 名从学术界转投工业界的北美AI研究员,他们发现,在这 211 名离开学术职位的研究人员中,有 70 人保留了某种形式的大学附属关系。


而且这种双重任命越来越普遍。



未来,产业界和学术界的关系或许会更像“共生体”:


无论是AI、半导体还是生物医药,双向流动的生态都将加速技术创新的步伐,让科技进步不仅限于实验室,加速创新的落地。


特朗普2.0已然回归,“科技封锁”可能将会更加常态化。


最近几年,我们都在提“自主创新”。自主创新很必要,这种创新方式是为了解决特定的问题或追求商业机会。它目标明确,结果导向,确保我国在尖端科技上不被“卡脖子”。


还有另外一种创新方式是:


自发创新。


自发创新是一种自由和开放的创新生态系统。自发创新的力量来自市场、来自公司、来自自由竞争,它鼓励多样性和灵活性,有助于适应快速变化的环境。


我们需要自主创新,但更要融入“自发创新”的精神与魅力。


深圳就是一个绝佳的例子。


深圳科技局原副局长周路明先生的观察揭示了深圳创新模式的核心要素之一:深圳是中国第一个把创新从纯科研的活动转变成为经济活动的城市,这使得创新投入产出的效率出现了极大的改善。



他说:深圳成功的技术公司大都不是怀揣一个成果转化的梦想去做一个公司,都是先要做一个适合市场的产品能够卖出钱来让企业生存下去为优先目标,然后通过产学研合作的方式选择合适的技术来不断提升产品的性能和品质。


深圳关于创新的4个90%(90%以上研发人员集中在企业、90%以上研发资金来源于企业、90%以上研发机构设立在企业、90%以上职务发明专利来自于企业)实际上反映的是,它按照经济规律组织创新的事实。


固然,基础研究非常重要意义重大,这一点绝对不能忽视。


但我们此处所说的创新不应仅仅是科学家或工程师的技术追求,而更应紧密围绕市场需求和消费者的实际需求。



我们一直听到这样一句话:


要让市场发挥配置资源的决定性作用。


不是辅助作用,不是主导作用,而是决定性作用。


究其原因,“大规模商业应用”的创新是一个高度不确定的行为。


只有企业和企业家在市场上,不断进行尝试,通过优胜劣汰才能慢慢走出一条成功的行业路径。在这之前,技术路线与发展方式没有人能预测——


创新是走出来的。


有了创新,才有机会诞生世界级的企业。


有了世界级的企业,也才会有更多的创新。


相信企业家的选择,相信市场的选择。


创新升级,我们始终对中国经济的未来充满信心。


文章来自于微信公众号“TOP创新区研究院”,作者“ 趋势研究组”