用AI评估AI,上交大新款大模型部分任务超越GPT-4,模型数据都开源
用AI评估AI,上交大新款大模型部分任务超越GPT-4,模型数据都开源评估大模型对齐表现最高效的方式是?在生成式AI趋势里,让大模型回答和人类价值(意图)一致非常重要,也就是业内常说的对齐(Alignment)。
来自主题: AI技术研报
5207 点击 2023-11-13 21:49
评估大模型对齐表现最高效的方式是?在生成式AI趋势里,让大模型回答和人类价值(意图)一致非常重要,也就是业内常说的对齐(Alignment)。
通用模型时代下,当今和未来的前沿AI系统如何与人类意图对齐?通往AGI的道路上,AI Alignment(AI对齐)是安全打开 “潘多拉魔盒” 的黄金密钥。
GraphGPT框架将图结构模型和大语言模型进行参数对齐,利用双阶段图指令微调范式提高模型对图结构的理解能力和适应性,再整合ChatGPT提高逐步推理能力,实现了更快的推理速度和更高的图任务预测准确率。
智谱AI&清华KEG提出了一种对齐 Agent 能力的微调方法 AgentTuning,该方法使用少量数据微调已有模型,显著激发了模型的 Agent能力,同时可以保持模型原有的通用能力。
微调LLM需谨慎,用良性数据、微调后角色扮演等都会破坏LLM对齐性能!学习调大了还会继续提高风险!
人工智能价值对齐(AI alignment)是关涉AI控制与AI安全的重要问题,随着人工智能的飞速发展和广泛应用,人工智能可能带来的风险和挑战也日益凸显,由此,“价值对齐”问题开始被广泛讨论和提及。