GDC 2019 Square Enix在AI领域论文

GDC 2019 Square Enix在AI领域明显接受论文。根据在该领域发言的Square Enix代表的说法，据说所有四篇与AI相关的论文都被采纳了。虽然最后很难报告所有这四个，但在4Gamer中，我可以再听一个与上面列出的Meta AI分开的会话，所以我想报告内容。

在本文中，我将介绍“ 增强的沉浸性：使用语音识别来实现更自然的玩家AI交互 ”（沉浸式重点：使用语音识别使玩家和AI之间的交互更自然）。Square Enix的Gautier Boeda先生在本届会议上登台亮相。

通过自然语言交流对话推进的益智游戏式演示

Boeda先生的研究动机源于“在任何游戏中，自然语言交流应该能够通过应用自然语言交流来实现更加身临其境的游戏体验” 。

首先，自然语言交流在一般家庭生活中变得“正常”。智能手机响应语音操作已经很长时间了，最近，称为智能扬声器的“交互式小工具”的出现日益增多。

然而，自然语言交流在游戏产业中的有效应用是罕见的。最多你将被提醒基本操作，如“playstation，关闭”和“Cortana，Xbox on”，或者在爱情模拟游戏中向对方角色发出“爱”。

另一方面，在通常玩的游戏中，存在越来越多的标题，其中由玩家操作的主角在游戏世界中进行冒险，同时保持伴侣角色。它是一只狗，一个女孩，一个机器人等。有各种各样的情况，但此时只有几个按钮可以用来操纵伙伴，当然只能给出基本的命令。Boeda先生想要管理这种尴尬的情况，更具体地说，想要在自然语言交流中操纵伙伴角色。

在此基础上，Boeda先生展示了由Square Enix研究小组开发的新演示“ Kobun的第一眼 ” 。

这不是Square Enix未发布的新产品标题......而是一个技术演示。但是，它具有可靠的内容，可以在游戏剪裁中应用自然语言交流，以便在播放时能够理解它。

在Kobun的第一眼中，球员们是“火箭队的机组人员撞向不知名的行星”，并且在撞车事故的影响下将失去自由。然后，一个可爱的外星人的Kobun，他是这个星球的本土部落 - 可能是一个源自“孩子”的名字 - 通过，所以用自然语言与他交谈，让我们摆脱这种情况，是演示的目标。

火箭修理过程，如连接油箱和管道，连接电源连接器等，不使用游戏控制器，通过“取出燃油箱并将其倒入喷嘴”之类的声音你可以看到命令。

与Kobun对话的语言处理流程

展示此演示视频后，Boeda继续介绍应用于实现演示的技术要素。

在这个游戏演示的语音识别引擎中，Boeda等人的研究小组选择了开源项目“ Julius ”。

Julius由名古屋工业大学开发，是一个开放式许可证，不受商业用途的限制，但它具有完全实时的语音识别功能。似乎包括日语和英语在内的多语言支持已成为采用的决定性因素。

根据Boeda的说法，在这个技术演示开发项目中，在将语音转换为文本之后，它并没有直接应用于“语言的语义分析”，而是吸收“每种语言中存在的特定差异”据说我们已经提供了一个抽象处理管道 它旨在减少游戏开发本地化时的开发负担。

例如，如果游戏开发和游戏机制（≒游戏特性）已经使用日语系统构建，那么如果你试图支持其他语言，语言相关的处理系统将是完全不同的语言规范有必要重新制作它。

为了避免这种情况，我们事先设计了一种游戏专用的独特抽象语言语法，便于操作游戏标题的游戏机制。

简而言之，它由语言识别引擎Julius转换为文本，然后执行语言的语义分析，并进一步将特定于游戏的抽象语言语法转换为多级管道。

例如，在设置需要“拿起苹果”的游戏机制的情况下，讲英语的玩家会说“拿起苹果”或“拿苹果”有可能。两者作为描述语言都不同，但含义相同。

因此，通过处理抽象语言将“Take”转换为“Pick up”。这部分可以说是一个处理系统，它吸收每个玩家的词汇差异，或“将词汇的意义融合为一个的处理系统”。

通过这样做，可以在使用预先设计的基于语言的独特游戏机制的同时对各种语言进行本地化。如果你想让Kobun的First Glance与法语兼容，请将Julius切换到法语版本，并在进行语义融合时，将法语的自然语言转换为游戏自己的语法处理层。如果它发展会很好。你不必费心游戏机制。

如何经得起自然语言的困难

以上是基本架构，但是当我实际上在Kobun上进行第一次测试并进行测试时，似乎出现了自然语言特有的模糊性的“坏情况”。

一种情况是意义根据如何识别音节中断而改变。
例如，当播放器说“按○”时，如果“を”和“押”的音节被误识别为“音节连接”，则语义上为“do○”解释方法将是双重的。在英语中，前者是“Do”而后者是“Push”。虽然如果相当于“○○”的对象清晰可以预测上下文，但它并不完美。

另外，即使通过抽象层，同音词也无法收敛词的含义。如果游戏机制方面准备了由单词侧所假设的单词侧的同音异义词所具有的“几个含义”，则玩家如果匹配其中一个单词则选择该单词。有可能预测到这一点。然而，在游戏机制方面所假设的单词方面，如果同音异义词的复数含义具有相同的含义，那么它已经是一个提升。此外，即使你有各种各样的工具，似乎有些事情出了问题。在这种情况下，Boeda表示会有“表现出态度”作为游戏中角色对玩家的反馈，例如Kobun-kun。诸如“this”，“this”，“there”之类的代词，以及诸如“......之前”或“之前......”之类的相对定位也是实现自然语言交流的重要主题。
关键是在Julius中，您可以存储所用单词的时间代码（= timestamp），因此使用此机制，可以指定“used pronouns”的含义。

有趣的是相对定位的语义解释，例如“......的权利”和“之前......”。
如果物体具有明确的方向，例如正面或背面，则必须考虑其含义。另外，诸如“来回和左右”的相对位置指定是从玩家的角度观看的相对位置，并且在本演示中，从接受命令的角色的角度来看，对应于从Kobun-kun的角度看的相反方向。有。
可以说，这是一种不仅需要自然语言交流而且需要对AI的当前情况和环境的识别的情况。　然而，当在第一人称视角（例如VR）中的“指向”操作中显示“那个”，“此”，“那里”而不是语言时，有必要在检查“指向”之后识别该对象。我也想压抑即将到来的观点。

常见的错误是在控制器操作移动的指尖的扩展上选择一个对象作为对象。因为人类的“指向”非常模糊，Boeda说，“采用延伸穿过双眼和手指作为候选人的线的方法几乎没有错误”。

如今，在兼容VR的头戴式显示器中，眼睛跟踪（眼动追踪）支持仍在继续，这可能是因为它在自然语言通信中很有用。

在不久的将来，有可能教导一个好友，原谅一个敌人，或者用爱的耳语为女主角加油。

尽管仍然存在必须以各种方式考虑的情况以及无论如何处理它们都无法工作的情况，如果您可以通过自然语言交流与游戏中的角色进行交流，那么游戏体验肯定会更加身临其境和情感化首先在Kobun看到移民可能增加的迹象。

就像Kobun-kun这次一样，自然语言交流本身似乎喜欢直接与游戏机制相关的游戏，但最有可能成为主流的是玩家通过操作游戏手柄，鼠标和键盘来玩游戏的传统游戏。我认为它是一种可以在采用力学的同时通过自然语言交流来操作NPC的类型。

如果您可以在游戏过程中使用耳机指示玩家“阻止左侧敌人”，“跟在后面”，并“检查该角落是否有敌人”，那么游戏就会更进一步。我觉得我会增加乐趣。

Square Enix有许多用于派对游戏的游戏资料，如“勇者斗恶龙”和“最终幻想”，因此这次引入的技术应该能够得到有效应用。我期待着未来。