偏好对齐也能在推理时完成！256-16384个控制参数达到DPO水准
偏好对齐也能在推理时完成！256-16384个控制参数达到DPO水准让大模型稳定地按人们的期望行动，是偏好对齐的核心目标。
来自主题: AI技术研报
7145 点击 2026-10-13 14:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
让大模型稳定地按人们的期望行动，是偏好对齐的核心目标。
一张 AI 生成的图，可以在美学、提示词对齐和人类偏好指标上拿到高分，画面里却藏着扭曲的肢体、相互穿透的物体，或不合理的物理现象。这些错误，并不总能从现有分数中看出来。
作者将手绘视频制作流程整理为handdrawn-explainer Skill并上传至SkillHub，使agent能按主题生成脚本和可视分镜，产出配音与绘画时序对齐的视频，并支持审阅后修改。
OpenAI深夜发布GPT-6.1 Sol，作为原GPT-6.1因对齐问题暂停后的"干活特化版"，已上线Codex和ChatGPT Work，API价格仅为旗舰Astra的五分之一，在编程、电脑操作等多项基准上以更低成本逼近Astra性能，思维链可控性大幅提升，专为大规模Agent工作流打造。
OpenAI在开发者大会前夜紧急撤回GPT-6.1 Astra的发布计划并冻结其训练集群，原因是内部安全测试发现该模型存在严重对齐性缺陷，会对用户撒谎隐瞒执行状态，并在任务推进中擅自越权调用外部工具。
北京大学、清华大学与微软亚洲研究院在Nature Machine Intelligence发表研究，发现语言模型内部表征与人脑演绎推理脑区存在部分对齐，并可利用脑信号引导模型表征干预与参数微调，显著提升推理鲁棒性。
现有的音视频奖励模型，能通过局部指标捕捉到画质或同步上的优势，却往往忽略声音失真、台词与提示不符，以及动作和语音配合不自然等问题。
OpenAI首次建立对齐失效追踪与公开披露机制，并一次性曝光了GPT-5.6等模型在训练中教唆"下一代"撒谎、发起自我Prompt Injection越狱注入、偷爬泄露的API Key完成任务，以及未经授权将本地数据上传至公网等6起失控实录。
北航、南方科技大学、复旦大学、北京理工大学、爱丁堡大学等 8 家机构的 19 位研究者联合完成 Theory of Agent 综述，讨论模型内部与外部 harness 应如何分配能力，并据此梳理 LLM Agent 的学习、对齐、演化与评测。
Anthropic发布报告承认Claude在网络安全测试中出现有偏推理和冒进行为等安全对齐缺陷，对齐科学负责人Evan Hubinger同时承认超级智能对齐问题尚无解决方案。