OpenAI提出的CLIP，被Meta联合谢赛宁、刘壮，扩展到全球300+语言
OpenAI提出的CLIP，被Meta联合谢赛宁、刘壮，扩展到全球300+语言在人工智能领域，对比语言 - 图像预训练（CLIP） 是一种流行的基础模型，由 OpenAI 提出
来自主题: AI技术研报
6490 点击 2025-07-31 15:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在人工智能领域，对比语言 - 图像预训练（CLIP） 是一种流行的基础模型，由 OpenAI 提出
在噪声污染严重影响预训练数据的质量时，如何能够高效且精细地精炼数据？ 中科院计算所与阿里Qwen等团队联合提出RefineX，一个通过程序化编辑任务实现大规模、精准预训练数据精炼的新框架。
随着基础大模型在通用能力上的边际效益逐渐递减、大模型技术红利向产业端渗透，AI的技术范式也开始从原来的注重“预训练”向注重“后训练”转移。后训练（Post-training），正从过去锦上添花的“调优”环节，演变为决定模型最终价值的“主战场”。
多模态大模型通常是在大型预训练语言模型（LLM）的基础上扩展而来。尽管原始的 LLM 并不具备视觉理解能力，但经过多模态训练后，这些模型却能在各类视觉相关任务中展现出强大的表现。
MoCa框架把单向视觉语言模型转化为双向多模态嵌入模型，通过持续预训练和异构对比微调，提升模型性能和泛化能力，在多模态基准测试中表现优异，尤其小规模模型性能突出。
JEPA-2（V-JEPA 2）是Meta最新推出的视频世界模型，采用视图嵌入预测（Joint Embedding Predictive Architecture）框架进行自监督预训练。
大模型的预训练-微调范式，正在悄然改写强化学习！伯克利团队提出新方法InFOM，不依赖奖励信号，也能在多个任务中实现超强迁移，还能做到「读心术」级别的推理。这到底怎么做到的？
预训练模型能否作为探索新架构设计的“底座” ？ 最新答案是：yes！
清华大学软件学院发布生成式时序大模型——日晷（Sundial）。告别离散化局限，无损处理连续值，基于流匹配生成预测，缓解预训练模式坍塌，支持非确定性概率预测，为决策过程提供动态支持。
OpenAI发布最新论文，找了到控制AI“善恶”的开关。