全模态对齐框架align-anything来了：实现跨模态指令跟随
全模态对齐框架align-anything来了：实现跨模态指令跟随如何全模态大模型与人类的意图相对齐，已成为一个极具前瞻性且至关重要的挑战。
来自主题: AI技术研报
7324 点击 2024-10-18 10:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
如何全模态大模型与人类的意图相对齐，已成为一个极具前瞻性且至关重要的挑战。
DeepMind最近的研究提出了一种新框架AligNet，通过模拟人类判断来训练教师模型，并将类人结构迁移到预训练的视觉基础模型中，从而提高模型在多种任务上的表现，增强了模型的泛化性和鲁棒性，为实现更类人的人工智能系统铺平了道路。
近年来，大模型的高速发展极大地改变了人工智能的格局。对齐（Alignment） 是使大模型的行为符合人类意图和价值观，引导大模型按照人类的需求和期望进化的核心步骤，因此受到学术界和产业界的高度关注。
本文第一作者为香港大学博士研究生谢知晖，主要研究兴趣为大模型对齐与强化学习。
前段时间冲上热搜的问题「9.11比9.9大吗？」，让几乎所有LLM集体翻车。看似热度已过，但AI界大佬Andrej Karpathy却从中看出了当前大模型技术的本质缺陷，以及未来的潜在改进方向。
大模型展现出了卓越的指令跟从和任务泛化的能力，这种独特的能力源自 LLMs 在训练中使用了指令跟随数据以及人类反馈强化学习（RLHF）。
华盛顿大学和Allen AI最近发表的论文提出了一种新颖有趣的数据合成方法。他们发现，充分利用LLM的自回归特性，可以引导模型自动生成高质量的指令微调数据。
OpenAI超级对齐团队遗作：两个大模型博弈一番，输出更好懂了
让大小模型相互博弈，就能实现生成内容可读性的提升！
当我们不停在CoT等领域大下苦功、试图提升LLM推理准确性的同时，OpenAI的对齐团队从另一个角度发现了华点——除了准确性，生成答案的清晰度、可读性和可验证性也同样重要。