AI资讯新闻榜单内容搜索-对齐

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 对齐
AI 对齐了人的价值观,也学会了欺骗

AI 对齐了人的价值观,也学会了欺骗

AI 对齐了人的价值观,也学会了欺骗

今年 5 月,有研究者发现 OpenAI 的模型 o3 拒绝听从人的指令,不愿意关闭自己,甚至通过篡改代码避免自动关闭。类似事件还有,当测试人员暗示将用新系统替换 Claude Opus 4 模型时,模型竟然主动威胁程序员,说如果你换掉我,我就把你的个人隐私放在网上,以阻止自己被替代。

来自主题: AI资讯
6210 点击    2025-07-21 10:35
AI为了自保假装配合!Claude团队新研究结果细思极恐

AI为了自保假装配合!Claude团队新研究结果细思极恐

AI为了自保假装配合!Claude团队新研究结果细思极恐

大模型“当面一套背后一套”的背后原因,正在进一步被解开。 Claude团队最新研究结果显示:对齐伪装并非通病,只是有些模型的“顺从性”会更高。

来自主题: AI技术研报
8238 点击    2025-07-10 11:30
超CLIP准确率11%!伯克利港大阐明「LLM文本-视觉」对齐深层机制

超CLIP准确率11%!伯克利港大阐明「LLM文本-视觉」对齐深层机制

超CLIP准确率11%!伯克利港大阐明「LLM文本-视觉」对齐深层机制

多模态对齐模型借助对比学习在检索与生成任务中大放异彩。最新趋势是用冻结的大语言模型替换自训文本编码器,从而在长文本与大数据场景中降低算力成本。LIFT首次系统性地剖析了此范式的优势来源、数据适配性、以及关键设计选择,在组合语义理解与长文本任务上观察到大幅提升。

来自主题: AI技术研报
5920 点击    2025-07-03 11:00
周志华团队新作:LLM中存在奖励模型,首次理论证明RL对LLM有效性

周志华团队新作:LLM中存在奖励模型,首次理论证明RL对LLM有效性

周志华团队新作:LLM中存在奖励模型,首次理论证明RL对LLM有效性

将大语言模型(LLMs)与复杂的人类价值观对齐,仍然是 AI 面临的一个核心挑战。当前主要的方法是基于人类反馈的强化学习(RLHF)。该流程依赖于一个通过人类偏好训练的奖励模型来对模型输出进行评分,最终对齐后的 LLM 的质量在根本上取决于该奖励模型的质量。

来自主题: AI技术研报
7415 点击    2025-07-03 10:00
ICML 2025 Oral | 从「浅对齐」到「深思熟虑」,清华牵头搭起大模型安全的下一级阶梯

ICML 2025 Oral | 从「浅对齐」到「深思熟虑」,清华牵头搭起大模型安全的下一级阶梯

ICML 2025 Oral | 从「浅对齐」到「深思熟虑」,清华牵头搭起大模型安全的下一级阶梯

在大语言模型(LLM)加速进入法律、医疗、金融等高风险应用场景的当下,“安全对齐”不再只是一个选项,而是每一位模型开发者与AI落地者都必须正面应对的挑战。

来自主题: AI技术研报
7059 点击    2025-06-25 16:41
从RLHF、PPO到GRPO再训练推理模型,这是你需要的强化学习入门指南

从RLHF、PPO到GRPO再训练推理模型,这是你需要的强化学习入门指南

从RLHF、PPO到GRPO再训练推理模型,这是你需要的强化学习入门指南

强化学习(RL)已经成为当今 LLM 不可或缺的技术之一。从大模型对齐到推理模型训练再到如今的智能体强化学习(Agentic RL),你几乎能在当今 AI 领域的每个领域看到强化学习的身影。

来自主题: AI技术研报
5868 点击    2025-06-22 16:08
扩散语言模型扛把子LLaDA迎来新版本,数学、代码、对齐能力均提升

扩散语言模型扛把子LLaDA迎来新版本,数学、代码、对齐能力均提升

扩散语言模型扛把子LLaDA迎来新版本,数学、代码、对齐能力均提升

本文介绍的工作由中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团共同完成。朱峰琪、王榕甄、聂燊是中国人民大学高瓴人工智能学院的博士生,导师为李崇轩副教授。

来自主题: AI技术研报
9168 点击    2025-06-07 14:05
无需人工标注!AI自生成训练数据,靠「演绎-归纳-溯因」解锁推理能力

无需人工标注!AI自生成训练数据,靠「演绎-归纳-溯因」解锁推理能力

无需人工标注!AI自生成训练数据,靠「演绎-归纳-溯因」解锁推理能力

新加坡国立大学等机构的研究者们通过元能力对齐的训练框架,模仿人类推理的心理学原理,将演绎、归纳与溯因能力融入模型训练。实验结果显示,这一方法不仅提升了模型在数学与编程任务上的性能,还展现出跨领域的可扩展性。

来自主题: AI技术研报
9183 点击    2025-06-03 10:36
360开源高质量图文对齐数据集!收纳1200万张图像+1000万组细粒度负样本,让模型告别“图文不符”

360开源高质量图文对齐数据集!收纳1200万张图像+1000万组细粒度负样本,让模型告别“图文不符”

360开源高质量图文对齐数据集!收纳1200万张图像+1000万组细粒度负样本,让模型告别“图文不符”

如何让CLIP模型更关注细粒度特征学习,避免“近视”?360人工智能研究团队提出了FG-CLIP,可以明显缓解CLIP的“视觉近视”问题。让模型能更关注于正确的细节描述,而不是更全局但是错误的描述。

来自主题: AI技术研报
7807 点击    2025-06-02 15:17
123页Claude 4行为报告发布:人类干坏事,可能会被它反手一个举报?!

123页Claude 4行为报告发布:人类干坏事,可能会被它反手一个举报?!

123页Claude 4行为报告发布:人类干坏事,可能会被它反手一个举报?!

刚刚发布的Claude 4被发现,它可能会自主判断用户行为,如果用户做的事情极其邪恶,且模型有对工具的访问权限,它可能就要通过邮件联系相关部门,把你锁出系统。这事儿,Anthropic团队负责模型对齐工作的一位老哥亲口说的。

来自主题: AI资讯
8846 点击    2025-05-23 22:14