首页AI 新闻
AI 让游戏 NPC「活了」,表情、声音全即时生成!NVIDIA 展示游戏 AI 的应用
27

AI 让游戏 NPC「活了」,表情、声音全即时生成!NVIDIA 展示游戏 AI 的应用

好说新闻
好说新闻
2023-05-30 18:31
想象一下这样一款游戏,您可以用母语和 NPC 进行智能、无脚本的动态对话,他们性格不同、表情生动,似乎每个 NPC 都有了生命。而他们的背后,都有着 AI 技术的功劳。

在昨天的 Computex 2023 活动中,NVIDIA 用两个小时向人们展示了 AI 的无限可能。其中,一段类《赛博朋克2077》主题的 AI NPC 演示,展示了 AI 在游戏领域里值得期待的应用。

一段影片背后的技术革命

这段视频里,玩家可以直接说话和游戏里的 NPC 交谈,NPC 也很快地进行了回复,口型动画、面部表情看上去很自然。如果放在这两年的新作里,这样的互动确实常见。但“老黄”却说,实现它的幕后技术却和传统的制作流程有了很大的区别:

「活起来」的NPC

在传统的游戏制作中,再不起眼的NPC也需要编剧设定一两句台词,小体量游戏几句台词还好,但换作像是“开放世界”这类的,NPC 的台词量也会指数级地增加。

这两年玩家们也常有体会,有些游戏的NPC干脆是只站桩不说话、要么被设定成小团体在唠嗑,玩家自己“凑不了热闹”。NVIDIA NeMo 提供了一种捷径,这是个基础语言模型和模型定制工具,换种说法,“生产力版的猫娘孵化仪”,它能生成出符合游戏世界观、人物背景资料的角色并特定个性,从而 AI 就成了一个个具体的“NPC”,能生成这个角色“会说出”的都会花。

像视频里的酒吧店长就是这样,开发者只要预设好他的一些“人设”,当玩家发言后,AI就会生成“酒吧店长”这时该有的回应。

而这样做有一个好处,就是游戏更自由了……

玩家「对话」的自由

当前游戏里和NPC的对话,你一言我一语是常态,“负责”点的NPC可能会肩负 豆知识锦囊、公会任务 这类活儿,能有支线演出剧情的,那已经算是“人上人”了。

往常玩家发现一个感兴趣的 NPC,我们顶多能从只言片语中揣测他的生平、或是从一两个交互选项中反复试错,去了解不同反应下的他,再借助同人的力量丰满形象。在有了刚才说的 NVIDIA NeMo 之后,咱们的角色“活起来”了,但如何和更生动的他们自然对话?

NVIDIA Riva 就解决了这个“输入”和“输出”的难题。在“输入”方面,Riva 提供开箱即用的实时自动语音识别,也正因有了它,当我们像视频中以第一人称视角进行“说话交谈”时也不会有多少违和感。

在“输出”方面,Riva 提供能实时高效模仿人类的文字转语音功能,按照官网介绍:任何企业只需提供 30 分钟的数据, A100 GPU 上耗时不到一天,就能创建独特的语音。有了它,NVIDIA NeMo 所演绎的各种 NPC 就能发出声音,和你进行交谈了。

生动的脸部动画

这也是视频里最令人惊叹 AI 进步的一项技术。在大部分游戏中,我们常看到过场演出里角色们眉飞色舞的表情变化,一些 3A 作品的演出甚至胜过电影。但当你一回到跑图、做任务这些场景,NPC 们木讷、顶多程序化的表现总会让人产生割裂感。事实就是碍于成本,以前的开发商很少能给 NPC 角色也都用上动捕、面捕。Audio2Face 的出现或许让这件事出现了变化,这是一个可以用音轨自动推断情绪、并制作表情动画的 3D 角色模型。听起来有点神奇,但事实就是这样,它“听”到了声音,理解了里面的感情,然后用脸“演”了出来。

由此一来,一条 AI 串起的 NPC 交互流程算是完备了:利用 NVIDIA Riva 实现语音转文本和文本转语音功能,利用 NVIDIA NeMo 为对话式 AI 提供“实时剧本”支持,并利用 Audio2Face 实现基于语音输入的 AI 面部动画。NVIDIA 也顺势推出了一项包含了这些技术的定制 AI 模型代工服务——NVIDIA ACE For Games ,旨在通过 AI 支持的自然语言交互为不可玩角色 (NPC) 带来智能,从而改变游戏。

闻不如一试

尽管我们没法立马体验新一代 NPC 们的“大脑” NVIDIA NeMo ,但好在我们能实际上手从另外两项技术,看看 AI 是不是有说的那么神?

Riva 能听懂我说什么吗?

NVIDIA 提供了在线体验页面,并支持 英文、日语、中文 在内的多国语言转录。尽管页面上显示可以上传 30秒内的 wav 音频文件,但截止发稿前,我们未测试成功 wav 文件转录功能。

好在更神奇的 实时录音转录 可以正常工作,也算为 NVIDIA 挣回了面子。(需允许浏览器开启页面的录音权限)

我们测试了下 NVIDIA Riva 的实时转录效果,发现转录的速度确实配得上是“实时”二字。准确率方面,总体上和其他同类产品相当,对于更长的句子,Riva 还会根据句子的录入内容实时进行整句修正,可以看出 AI 是想让整个句子能被顺畅理解,而不只是单纯地“听到哪写到哪”。

Audio2Face 演得怎么样?

要尝试 Audio2Face 就有些“硬件”要求了,它需要你拥有一张至少 8GB 显存的 RTX 显卡才可本地体验。在安装环节,你需要先下载安装 Omniverse Launcher ,在注册账号后就能很轻松地下载到 Audio2Face 了。

目前 NVIDIA 仅提供了 2022.2.1 的测试版本,点击右上角的安装,静待下载完成后就可以直接启动了。

这是一个和 Unity3D、UE5 这类游戏编辑器较为类似的编辑界面,并且默认为我们载入了一个脸部模型。第一次启动时,右侧窗口会有黄字显示“准备中”,需要我们耐心等待。

Audio2Face 也提供了 fbx、obj、usd 等主流模型的导入支持,我们可以导入外部的模型文件并对各个部位进行绑定,让你的 Audio2Face 体验更有个性。当然,这需要你有更强的技术力,如果只是体验一下,建议和我们一样使用默认模型即可。

这里主要介绍两个功能窗口,供想自己上手的朋友参考。我们先介绍音频选择、播放窗口 AUDIO PLAYER,在第一栏我们可以选择音频文件所在的文件夹,这个文件夹下所有的 wav 音频文件将会被自动扫描、并列入第二栏的下拉菜单中供你选择。

Audio2Face 默认提供了样本文件夹,如果你手头没有 wav 音频文件,也可以直接点击第二个下拉菜单,选择感兴趣的模型看看效果。

这时候音频频谱旁边的“▶️”按钮,就能看到左侧的人脸模型已经开始“动嘴”了。

不过这时候的模型还没有表情,需要用到我们介绍的第二个窗口 自动表情 AUTO-EMOTION,上面的这些滑块主要控制了表情变化的强度、顺畅度等观感细节,最重要的是底部的复选框和按钮。

在我们第一次运行程序时,需要点击最底部的“GENERATE EMOTION KEYFRAMES”(生成表情关键帧)才能让模型从音频中“理解出”感情,而勾选上“Auto Generate On Track Change”(音轨变化时自动生成)可以让你在之后每次切换音频时不用再点一次上面的按钮,省事不少。

对于更专业的读者,我还想介绍一下 EMOTION 窗口,上面的滑块代表着每种感情的强度,粉色的点就是动画软件中常见的关键帧,我们可以通过这个窗口来增减关键帧、微调各种表情,来达到想要的效果。

这里,我选取了《半泽直树》里雅人叔最经典的那句“加倍奉还”来尝试效果。对于 AI 来说,这是个“试炼”了。

堺雅人的演技不用多说,如果 AI 能做到几分味道,那也算超出预期了。从结果来看,模型的口型基本和我们使用的纯人声音频能够同步,两侧脸颊的肌肉变化也较为自然,比较惊喜的是最后眼眶睁大、有些面目狰狞的演绎,能让人直接感受到愤怒的情感,或许比起一些小鲜肉的演技还靠谱些。

对于「游戏」,AI 究竟该做什么?

在 AI 快速发展的这几个月,我们常听到“AI 革了画师的命” 的声音。更具体地讲,一些中小型游戏厂商做出了他们的选择,在 AI 洪流中决定用 AI 生产力来代替艺术创造力,让画师给 AI “打下手”,试图“节本提效”。而这是不是一条正确的道路?市场终究会给出答案。

在这个时代,游戏一方面被称作“第九艺术”,另一方面也扮演着先进技术的探索者,AI 该怎样样应用在游戏领域,也因此成了难题。NVIDIA 给出了他们的解释——把 AI 做成提效工具,优先解决现有技术下难以提效的部分,帮助大部分的游戏厂商来解决 NPC 交互差的痛点。

需要承认的是,即使在现有技术下,也有厂商能通过三言两语的 NPC 来塑造印象深刻的游戏世界。Falcom “轨迹”系列描绘了一个国人非常熟悉的游戏世界,无论是“空轨”的利贝尔王国、“零轨”、“碧轨”的克州,只要是生活在里面的角色,哪怕是城里某个店里的小孩子,认真探索的朋友可能都有些印象。而当我们在“闪轨”、甚至是“黎轨”中操控着其他主角和这些 NPC 再相遇时,听到他们三言两语讲起自己的身边日常,总会感慨“啊,原来这些年他长大了呀”。而这,正是一个即使不用 AI 、通过作品传承依旧能够出彩的游戏世界,他们在未来依旧能走出自己的道路。

不过,游戏技术进化的大流并不会停下,我们经历过由 2D像素 到 3D建模 的主流变换,也经历过从 卡带游戏 到 数字游戏 的购买渠道转变。相信 AI 应用只是游戏史发展的一环,被 NVIDIA 定义为工具、服务属性的 AI,究竟会在游戏领域大展手脚、还是被玩家冷落否定,时间将告诉我们答案。

参考链接:

[1]Omniverse Launcher :

https://www.nvidia.com/en-us/omniverse/download/#ov-download

[2]​ Riva 在线体验页面:

https://www.nvidia.com/en-us/ai-data-science/products/riva/​

全部讨论

no data来都来了,坐下聊聊