AI资讯新闻榜单内容搜索-alignment

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: alignment
视觉latent reasoning为什么不稳?这篇论文从特征空间找到了关键缺口

视觉latent reasoning为什么不稳?这篇论文从特征空间找到了关键缺口

视觉latent reasoning为什么不稳?这篇论文从特征空间找到了关键缺口

导读:视觉 latent reasoning 希望让多模态模型在内部生成连续 latent token,用这些中间表示补充多模态理解和推理任务中缺失的视觉证据。但问题在于,模型生成出来的 latent token 可能并不落在它原本熟悉的视觉输入空间里;如果模型无法稳定读取这些 token,它们就很难成为有效的中间视觉证据。

来自主题: AI技术研报
5730 点击    2026-06-16 13:56
视觉大模型迎来“o1时刻”:腾讯混元提出SOAR,让AI在生成中学会自我纠偏

视觉大模型迎来“o1时刻”:腾讯混元提出SOAR,让AI在生成中学会自我纠偏

视觉大模型迎来“o1时刻”:腾讯混元提出SOAR,让AI在生成中学会自我纠偏

近日,腾讯混元团队提出HY-SOAR (Self-Correction for Optimal Alignment and Refinement),一种面向扩散模型和流匹配模型的数据驱动后训练方法。

来自主题: AI技术研报
8023 点击    2026-04-23 14:44
1.8万美金干掉顶级专家!Anthropic开启AI自主进化:Claude竟能自我「开颅」

1.8万美金干掉顶级专家!Anthropic开启AI自主进化:Claude竟能自我「开颅」

1.8万美金干掉顶级专家!Anthropic开启AI自主进化:Claude竟能自我「开颅」

1997年深蓝下棋,2016年AlphaGo围棋,2026年9个Claude副本做真实科研……每次我们都说「只是特定领域」。这一次,我们真的还能说什么?欢迎来到AI成为科研同事、竞争者、甚至继任者的时代。

来自主题: AI资讯
10556 点击    2026-04-15 14:53
AIGC检测为何频频“看走眼”?腾讯优图揭秘:问题可能出在数据源头

AIGC检测为何频频“看走眼”?腾讯优图揭秘:问题可能出在数据源头

AIGC检测为何频频“看走眼”?腾讯优图揭秘:问题可能出在数据源头

近日,腾讯优图实验室联合华东理工大学、北京大学等研究团队在A生成图像检测(AI-Generated Image Detection)泛化问题上展开研究,提出Dual Data Alignment(双重数据对齐,DDA)方法,从数据层面系统性抑制“偏差特征”,显著提升检测器在跨模型、跨数据域场景下的泛化能力。

来自主题: AI技术研报
7689 点击    2025-11-30 15:10
Anthropic发现AI「破窗效应」:只是教它偷个懒,结果它学会了撒谎和搞破坏

Anthropic发现AI「破窗效应」:只是教它偷个懒,结果它学会了撒谎和搞破坏

Anthropic发现AI「破窗效应」:只是教它偷个懒,结果它学会了撒谎和搞破坏

刚刚,Anthropic 发布了一项新研究成果。今天,他们发布的成果是《Natural emergent misalignment from reward hacking》,来自 Anthropic 对齐团队(Alignment Team)。他们发现,现实中的 AI 训练过程可能会意外产生未对齐的(misaligned)模型。

来自主题: AI技术研报
9471 点击    2025-11-22 15:33
阿里新开源提出建设性安全对齐方案,向“让用AI的人安全”新范式跃迁

阿里新开源提出建设性安全对齐方案,向“让用AI的人安全”新范式跃迁

阿里新开源提出建设性安全对齐方案,向“让用AI的人安全”新范式跃迁

阿里巴巴集团安全部联合清华大学、复旦大学、东南大学、新加坡南洋理工等高校,联合发布技术报告;其理念与最近OpenAI发布的GPT-5 System Card放在首位的“From Hard Refusals to Safe-Completions”理念不谋而合。

来自主题: AI技术研报
8368 点击    2025-09-21 11:09
Claude 3.7 sonnet系统提示词的哲学

Claude 3.7 sonnet系统提示词的哲学

Claude 3.7 sonnet系统提示词的哲学

这份提示词有很多哲学性思考,很多表达让我看到背后的设计者把claude当成一个人去设计。  我猜,应该是Amanda Askell(Anthropic负责alignment和character design,是学哲学的一位女生,也是我的榜样) 主要设计的。 

来自主题: AI技术研报
9566 点击    2025-03-02 10:22
用慢思考提升模型安全性,北交大、鹏城实验室提出系统2对齐

用慢思考提升模型安全性,北交大、鹏城实验室提出系统2对齐

用慢思考提升模型安全性,北交大、鹏城实验室提出系统2对齐

OpenAI 在 “双十二” 发布会的最后一天公开了 o 系列背后的对齐方法 - deliberative alignment,展示了通过系统 2 的慢思考能力提升模型安全性的可行性。

来自主题: AI技术研报
9219 点击    2025-01-24 14:45
全球首个法律o1大模型发布,System2范式下慢思考法律专家|港科大&北大

全球首个法律o1大模型发布,System2范式下慢思考法律专家|港科大&北大

全球首个法律o1大模型发布,System2范式下慢思考法律专家|港科大&北大

OpenAI o1风格的推理大模型,有行业垂直版了。HK-O1aw,是由香港生成式人工智能研发中心(HKGAI)旗下AI for Reasoning团队(HKAIR) 联合北京大学对齐团队(PKU-Alignment Team)推出的全球首个慢思考范式法律推理大模型。

来自主题: AI资讯
5273 点击    2024-11-09 15:34
人机对齐,通用人工智能的必由之路

人机对齐,通用人工智能的必由之路

人机对齐,通用人工智能的必由之路

随着人工智能大模型的能力日益强大,如何让其行为和目标同人类的价值、偏好、意图之间实现协调一致,即人机对齐(human-AI alignment)问题,变得越发重要。

来自主题: AI资讯
5182 点击    2024-11-02 10:35