一个指令误导智能模型！北航等首创3D语义攻击框架，成功率暴涨119%
一个指令误导智能模型！北航等首创3D语义攻击框架，成功率暴涨119%人工智能模型的安全对齐问题，一直像悬在头顶的达摩克利斯之剑。 自对抗样本被发现以来，这一安全对齐缺陷，广泛、长期地存在与不同的深度学习模型中。
来自主题: AI资讯
6442 点击 2025-10-23 16:00
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
人工智能模型的安全对齐问题，一直像悬在头顶的达摩克利斯之剑。 自对抗样本被发现以来，这一安全对齐缺陷，广泛、长期地存在与不同的深度学习模型中。
尽管视觉语言模型（LVLMs）在图像与短视频理解中已取得显著进展，但在处理长时序、复杂语义的视频内容时仍面临巨大挑战 —— 上下文长度限制、跨模态对齐困难、计算成本高昂等问题制约着其实际应用。针对这一难题，厦门大学、罗切斯特大学与南京大学联合提出了一种轻量高效、无需微调的创新框架 ——Video-RAG。
大模型强化学习总是「用力过猛」？Scale AI联合UCLA、芝加哥大学的研究团队提出了一种基于评分准则（rubric）的奖励建模新方法，从理论和实验两个维度证明：要想让大模型对齐效果好，关键在于准确区分「优秀」和「卓越」的回答。这项研究不仅揭示了奖励过度优化的根源，还提供了实用的解决方案。
一张图片包含的信息是多维的。例如下面的图 1，我们至少可以得到三个层面的信息：主体是大象，数量有两头，环境是热带稀树草原（savanna）。然而，如果由传统的表征学习方法来处理这张图片，比方说就将其送入一个在 ImageNet 上训练好的 ResNet 或者 Vision Transformer，往往得到的表征只会体现其主体信息，也就是会简单地将该图片归为大象这一类别。这显然是不合理的。
LLaVA 于 2023 年提出，通过低成本对齐高效连接开源视觉编码器与大语言模型，使「看图 — 理解 — 对话」的多模态能力在开放生态中得以普及，明显缩小了与顶级闭源模型的差距，标志着开源多模态范式的重要里程碑。
近年来，以强化学习为核心的训练方法显著提升了大语言模型（Large Language Models, LLMs）的推理能力与对齐性能，尤其在理解人类意图、遵循用户指令以及增强推理能力方面效果突出。尽管现有综述对强化学习增强型 LLMs 进行了概述，但其涵盖范围较为有限，未能全面总结强化学习在 LLMs 全生命周期中的作用机制。
核心速递： GLM-4.6 发布，榜单排名提升，价格不变 实测效果对齐 Claude 4，超越其他国产模型 GLM 开发者包月套餐升级，1/7 价格取得 Claude 4 9/10 的效果，值得使用
AI生成第三视角视频已经驾轻就熟，但第一视角生成却仍然“不熟”。为此，新加坡国立大学、南洋理工大学、香港科技大学与上海人工智能实验室联合发布EgoTwin ，首次实现了第一视角视频与人体动作的联合生成。
今天凌晨，Claude Sonnet 4.5发布了！新模型在编码、计算机使用、推理、长任务能力、安全对齐上的水平全面拔高，成为新一代编程模型王者。新一轮围绕编程展开的百模大战即将展开，而Claude Sonnet 4.5即将成为大家争相对标的新对象
在三维重建不断走向工程化的今天，前馈式3D Gaussian Splatting（Feed-Forward 3DGS）正火速走向产业化。 然而，现有的前馈3DGS方法主要采用“像素对齐”（pixel-aligned）策略——即将每个2D像素单独映射到一个或多个3D高斯上。