现在,大模型能生成RPG角色扮演游戏了。
根据初始用户输入,它能设置游戏模拟环境,并在环境中生成角色动作。
来自谷歌,北卡罗来纳大学教堂山分校新研究,他们尝试的第一款游戏叫做Unbounded,灵感来自《模拟人生》。
用户可以自定义角色的人生,比如这位名叫Archibus的巫师,他的饥饿度、能量和兴趣度会随着环境进行相应更新。
角色可以自由探索各种环境,进行各种可能的动作和互动。游戏按照交互速度,每秒就会刷新一次。
研究团队引入了一个生成无限游戏这个概念。
“无限游戏”指以延续游戏为目的游戏,生成无限游戏就是即通过使用生成式模型,超越传统受限的视频游戏。
无界(Unbounded)就是一款完全由生成式模型封装的角色生活模拟游戏。你可以虚拟世界中通过喂养、玩耍和引导角色,与他互动,但需要保证它的健康状态。
基于此,他们生成游戏的主要属性包括:角色个性化、游戏环境生成、开放式互动、实时生成。
在语言方面,他们开发了一个基于LLM的游戏引擎。这个游戏引擎能够保持游戏机制的一致性,生成连贯的叙事,并实时生成上下文角色响应。
他们的专业模型是在两个协作性强的LLM Agent自动生成的数据基础上进行微调的,无需人工注释。
以Gemma-2B为例,经过微调之后的游戏引擎,在状态更新、环境相关性、故事连贯性和指令遵循方面都表现得更为出色。
在视觉生成方面,他们引入了新型动态区域图像提示适配器(Regional IP-Adapter)。该适配器可在保持多幅图像视觉一致性的同时,生成一致的角色和环境。
具体来说,它将游戏环境和角色外观作为图像生成的条件,而游戏环境和角色外观则由交叉注意力层中注意力输出所获得的动态掩码调制。
这是为了减少环境和角色之间的干扰,使两者都能可靠地出现在场景中。
与之前的方法相比,他们的区域IP适配器采用了区块丢弃技术,能持续生成具有高度字符一致性和环境一致性的图像。
这篇研究主要来自谷歌以及北卡罗来纳大学教堂山分校团队。
其中一作Jialu Li目前是北卡罗来纳大学教堂山分校五年级博士生,本科毕业于上海交大,随后在康奈尔大学获得硕士学位。
对于这项研究,谷歌导师Nataniel Ruiz兴奋表示了对生成游戏的看好:未来大多数游戏都将完全由生成游戏组成。
想想《龙与地下城》等桌面角色扮演游戏的无限性——并试着想想这将如何应用于《上古卷轴》或《艾尔登法环》等游戏。
论文链接:
https://arxiv.org/abs/2410.18975
https://generative-infinite-game.github.io/
参考链接:
[1]https://x.com/JialuLi96/status/1849869554719260721
[2]https://x.com/natanielruizg/status/1849807021131874583
— 完 —
文章来自于微信公众号 “量子位”
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner