玩家都在问:游戏什么时候上线?
大模型驱动的游戏 NPC 终于落地了。
今天凌晨,英伟达放出一段游戏 demo。
现在打游戏,你可以用语音对话的方式和 NPC 交流,了解关卡目标、优化装备配置,随后调整武器配色开始战斗。
备受期待的 AI NPC 引擎在多人机甲战斗游戏《解限机》Mecha BREAK 中首次亮相了。全球首次,是国产游戏。
作为一款重 PVP 游戏,解限机目标成为全球级电竞产品。它在 8 月份刚刚结束先行测试,不少人表示「封测结束得太早」。目前该游戏在 Steam 平台上愿望单收藏量已超过百万,国内外也出现了不少游戏视频。
据说 2025 年才公测,大家还有的等。
游戏看起来挺好玩,背后使用的技术也够先进。今天亮相的这款 AI NPC 背后的技术是英伟达 Avatar Cloud Engine(ACE),该引擎最早是在去年 5 月的 COMPUTEX 2023 亮相的。
NVIDIA ACE 是一个允许开发者通过生成式 AI 创建智能游戏 NPC 的平台。在 ACE 上,英伟达使用多种不同的工具实现来实现次世代的智能游戏体验,动态渲染个性化角色,使其融入到游戏场景中。该工具也能够将玩家语音转录为文本,将其提供给 NPC 人物理解,并通过单独的文本转语音工具输出响应。
简而言之,ACE 可以创建出前所未有的全语音、全动态视频游戏角色。
英伟达也在持续更新 ACE 的能力,今年提出的生产级微服务(Production Microservices)允许游戏、工具和应用程序开发人员将 AI 大模型能力无缝集成到数字人或游戏 NPC 中,构建出下一代游戏和应用的体验。
对游戏开发商而言,大模型的工具已经到手,而作为游戏的玩家,你就得需要一块 RTX 显卡。
解限机的新 demo 显示,如果你有任何型号的 RTX GPU,AI 处理都是可以在本地完成的 —— 这包括从入门级的 RTX 2060 到目前最强大的 RTX 4090 等所有型号。为了适应配置不同的显卡,解限机使用了为 RPG 游戏设计的 Nemotron-4 4B Instruct 模型,它只需要 2GB 的 VRAM。英伟达表示,它可以在全球超过 1 亿台笔记本或台式机上运行。
Minitron 4B 模型基于英伟达自研的通用大模型 Nemotron 系列。看起来 Minitron 4B 与原始型号相比非常轻巧,原版 Nemotron 可能需要至少 160GB 的 VRAM。
尽管解限机是第一款使用 Nvidia ACE 技术的游戏,但它看起来更像是一个概念验证项目,因为 AI NPC 目前只应用在了「机械师」这一个 NPC 上。此外,它也不如使用 Nemotron 模型的基于云的 AI 模型那样高智商。然而,考虑到是本地运行的大模型,它的响应速度比基于云的 AI 快得多,只有约 300 毫秒,后者通常会需要几秒钟才能回答一个问题。
目前我们还无法确定,如果你的游戏电脑上没有 Nvidia RTX GPU,AI 驱动的 NPC 应该如何工作。或许有基于云的 ACE,或者它也可能有一个非 AI 版本,如果你是 A 卡或是基于英特尔的 GPU,甚至是这两家的集显,游戏显然也是必须可以运行的。
不过考虑到光追、DLSS 等更多新技术应用,这个 N 卡可能还是不买不行的。
借助 Nvidia ACE,解限机中的 AI NPC 可以理解玩家的语音输入,这意味着他们不再局限于传统 NPC 那样预先编写好流程的响应列表。然而,很多玩家在看完演示内容后表示,目前 AI NPC 的反应仍然感觉像是一个普通的游戏 NPC,而不是一个真正的人。这可能是由于它使用的是大幅优化性能的轻量级端侧模型,也可能是因为 NPC 被严格限定了工作范围。
不论如何,这是 Nvidia ACE 在「真实」游戏世界中的首次部署。在游戏画面精细程度不断提高的现在,人们比以往更加期待游戏玩法能有大幅度的更新。很多玩家或许都愿意尝试使用 AI,在虚拟世界里寻找一点真实感。
随着这项技术获得更多关注,我们可以期待在更多游戏中看到 AI NPC 的身影。
今年初,英伟达曾宣布将通过 ACE 与各个游戏厂商、创业公司的开发者合作,已公布的名单包括育碧、腾讯、UneeQ、掌趣科技、网易游戏、米哈游、Convai、Charisma AI 及 Inworld 等。
文章来源于“机器之心”,作者“ 关注大模型的”
【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,
“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。
项目地址:https://github.com/xszyou/Fay
【开源免费】Whisper是由openai出品的语音转录大模型,它可以应用在会议记录,视频字幕生成,采访内容整理,语音笔记转文字等各种需要将声音转出文字等场景中。
项目地址:https://github.com/openai/whisper
在线使用:https://huggingface.co/spaces/sanchit-gandhi/whisper-jax
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales