AI对齐全面综述！北大等从800+文献中总结出四万字，知名学者挂帅
AI对齐全面综述！北大等从800+文献中总结出四万字，知名学者挂帅通用模型时代下，当今和未来的前沿AI系统如何与人类意图对齐？通往AGI的道路上，AI Alignment（AI对齐）是安全打开 “潘多拉魔盒” 的黄金密钥。
来自主题: AI技术研报
4005 点击 2023-11-04 23:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
通用模型时代下，当今和未来的前沿AI系统如何与人类意图对齐？通往AGI的道路上，AI Alignment（AI对齐）是安全打开 “潘多拉魔盒” 的黄金密钥。
最近，由CMU/MIT/清华/Umass提出的全球首个生成式机器人智能体RoboGen，可以无限生成数据，让机器人7*24小时永不停歇地训练。AIGC for Robotics，果然是未来的方向。
在深度学习时代，尤其是随着大型语言模型（LLMs）的出现，大多数研究人员的注意力都集中在追求新的最先进（SOTA）结果上，使得模型规模和计算复杂性不断增加。
GPT-3究竟是如何进化到GPT-4的？ 字节给OpenAI所有大模型来了个“开盒”操作。 结果还真摸清了GPT-4进化路上一些关键技术的具体作用和影响。
中国科学院物理研究所/北京凝聚态物理国家研究中心SF10组和中国科学院计算机网络信息中心共同合作，将AI大模型应用于材料科学领域，将数万个化学合成路径数据投喂给大语言模型LLAMA2-7b，从而获得了MatChat模型
11月2日，今天 9 : 12 分，midjourney更新了“/tune” 命令，官方名称“Style Tuner”，译为“风格调谐器”，该功能可以通过您调整出满意的风格，并分享这串代码，也就意味着可以训练融合自己的风格。
今天，DeepMind公布了AlphaFold的最新版本，不仅预测蛋白质结构的准确性大大提高，而且获得了预测RNA等新的能力。
2023年10月31日，诺华生物医学研究所和微软研究院科学智能中心的研究人员合作，在 Nature Communications 期刊发表了题为：Extracting medicinal chemistry intuition via preference machine learning 的研究论文。
视觉幻觉是常见于多模态大语言模型的一个典型问题。最近，来自中科大等机构的研究人员提出了首个多模态修正架构「啄木鸟」，可有效解决MLLM输出幻觉的问题。
即便大语言模型的参数规模日渐增长，其模型中的参数到底是如何发挥作用的还是让人难以琢磨，直接对大模型进行分析又费钱费力。针对这种情况，微软的两位研究员想到了一个绝佳的切入点
在ChatGPT火爆出圈后，越来越多的人对人工智能、深度学习、神经网络等名词更加好奇，身边的朋友最近也频繁的问我，AI究竟为什么如此强大？今天我就用大家都看得懂的小学数学知识，来带大家感受人工智能的魅力，带大家认识神经网络。
千亿级大模型正迅速耗尽世界的高质量数据。对此，英伟达和UT提出了MimicGen系统。从人工合成数据中获得人工智能，将是未来的发展方向。
在今天的分享中，我将探讨“逆向Prompt提示词工程”技术。这篇文章是该主题的第三部分，旨在给大家演示如何根据已有的文本内容，逆向推导出生成该内容的关键提示词prompt。
DeepMind最新研究发现，只要模型设计上没有缺陷，决定模型性能的核心可能是训练计算量和数据。在相同计算量下，卷积神经网络模型和视觉Transformers模型的性能居然能旗鼓相当！
获取原版PDF，请添加官方微信 openai178 免费领取。2023年中国人工智能学会发布了《中国人工智能系列白皮书—深度学习》，白皮书包含了从人工智能历史到深度学习的技术解析，以及AI在各领域的落地应用。报告原文PDF多达461页，24万字。
GraphGPT框架将图结构模型和大语言模型进行参数对齐，利用双阶段图指令微调范式提高模型对图结构的理解能力和适应性，再整合ChatGPT提高逐步推理能力，实现了更快的推理速度和更高的图任务预测准确率。
今天，智谱AI开源其第三代基座大语言模型ChatGLM3-6B，官方说明该模型的性能较前一代大幅提升，是10B以下最强基础大模型！
在一项研究中，当类人智能体非常饥饿时，它们会在正餐之外吃点小吃；当感到愤怒时，会去跑步来释放愤怒；当感到伤心时，会寻求信任的朋友的支持；当感到厌恶时，会练习深呼吸和冥想技巧。
相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。
研究创造了一个神经网络，该人工智能（AI）系统在将新学到的单词添加到现有的词汇表中并在新的上下文中使用它们的能力，超越了ChatGPT，表现与人类相当，而这一能力正是人类认知能力的关键——系统泛化。
2024年元旦将至，很多公司都有做龙年主题海报的需求。我们今天抛砖引玉，给大家介绍用chatGPT和midjourney做龙年主题海报的详细步骤。
今天最新消息，元象XVERSE与腾讯音乐合作推出 lyraXVERSE 加速大模型，将应用于音乐助手 “AI 小琴” 中。用户可以通过点击 QQ 音乐上的 “AI 一起听” 按键来与升级版的 “AI 小琴” 互动，她将根据用户的提问、播放习惯和心情提供闲聊、推歌、音乐解读和词曲创作等服务。
大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步微调（Distilling Step-by-Step）的方法帮助模型训练。
今年爆火的智能体项目AutoGPT，现获得了1200万美元融资。不得不说，Auto-GPT在AI领域掀起了巨大的波澜，它就像是赋予了GPT-4记忆和实体一样，让它能够独立应对任务，甚至从经验中学习，不断提高自己的性能。
本文介绍了一份AI意识检查清单，用于评估AI系统是否具备意识。研究人员根据意识理论提取了6种意识指标，并通过评估Transformer和Perceiver等AI系统，展示了使用这些指标的方法。
无论是科研工作者还是从业者，都希望能在知识和技术的共享基础上，实现更加高效、有深度的协作，推动 AI 领域的进一步发展。在这样的背景下，一个全新的 AI 开源社区平台「SwanHub」诞生了。
智谱AI&清华KEG提出了一种对齐 Agent 能力的微调方法 AgentTuning，该方法使用少量数据微调已有模型，显著激发了模型的 Agent能力，同时可以保持模型原有的通用能力。
阿里巴巴算法工程师手把手教你部署AI模型
GPT-4根本不知道自己犯错？最新研究发现，LLM在推理任务中，自我纠正后根本无法挽救性能变差，引AI大佬LeCun马库斯围观。
Inc42 题为《2023 年印度生成式 AI 初创公司格局》的最新报告，该国的 GenAI 市场将在未来几年呈指数级增长。预计到 2030 年，这一数字将从 2023 年的 11 亿美元突破 170 亿美元，复合年增长率为 48%。