GPT-4正接管人类数据专家！先验知识让LLM大胆预测，准确率堪比传统方式
GPT-4正接管人类数据专家！先验知识让LLM大胆预测，准确率堪比传统方式终有一天，LLM可以成为人类数据专家，针对不同领域进行数据分析，大大解放AI研究员。
来自主题: AI技术研报
7355 点击 2024-02-24 15:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
终有一天，LLM可以成为人类数据专家，针对不同领域进行数据分析，大大解放AI研究员。
最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。
为何OpenAI只在TikTok上发布Sora新视频？AI专家猜测这是计划的一部分：创建病毒式视频、加水印、收集数据、添加RLHF、推出TikTok竞品……整套流程一气呵成。
Sora面对的挑战就像是需要处理和理解来自世界各地、不同设备拍摄的数以百万计的图片和视频。这些视觉数据在分辨率、宽高比、色彩深度等方面都存在差异。为了让Sora能够像人类大脑那样理解和生成这么丰富的视觉内容，OpenAI开发了一套将这些不同类型视觉数据转换为统一表示形式的方法。
从 Performance 到 Performance，AI 将掀起一场数据和分析的深层次革命。
英伟达最新财报出炉。连创“三高”：
在微调大型模型的过程中，一个常用的策略是“知识蒸馏”，这意味着借助高性能模型，如GPT-4，来优化性能较低的开源模型。这种方法背后隐含的哲学理念与logos中心论相似，把GPT-4等模型视为更接近唯一的逻辑或真理的存在。
本文总结了关于Sora的四点启发，包括视觉数据训练出更强的泛化能力、OpenAI的Scaling Law路线、与AGI的第一次亲密接触以及OpenAI的宣传策略。
简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习图像视频数据和它体现出的模式，然后还可以直接用学习来的图像生成模型最能理解的方式，给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令，最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。
Karpathy力推代码生成任务增强流程，让GPT-4在CodeContests从19%提升到44%，不用微调不用新数据集训练，让大模型代码能力大幅提升。