Если говорить простыми словами, то NVIDIA ACE — это сервис на базе ИИ, который наделяет интеллектом неигровых персонажей (NPC). В результате они реалистично взаимодействуют с игроком (например, ведут динамично развивающиеся диалоги).
«Генеративный ИИ может произвести революцию в вопросе взаимодействия игроков с NPC и значительно усилить погружение в игру», — заявил Джон Спитцер, вице-президент по технологиям разработки в NVIDIA.
Разработчики уже сейчас могут использовать NVIDIA ACE для создания и развертывания настраиваемых моделей речи, разговоров и анимации AI в своих проектах (через облако или на ПК).
Доступны следующие оптимизированные базовые модели ИИ:
- NVIDIA NeMo (базовые языковые модели и инструменты)
- NVIDIA Riva (автоматическое распознавание речи (ASR) и преобразование текста в речь (TTS) для обеспечения живого разговора с помощью NVIDIA NeMo)
- NVIDIA Omniverse Audio2Face (создает выразительную лицевую анимацию для игровых персонажей, используя только источник звука)
Чтобы продемонстрировать мощь NVIDIA ACE и узнать, как разработчики будут создавать NPC в ближайшем будущем, компания заключила партнерское соглашение с Convai, стартапом NVIDIA Inception, создающим платформу для развертывания ИИ-персонажей в играх и виртуальных мирах.
В опубликованном ролике используется функционал NVIDIA Riva (для преобразования речи в текст и текста в речь), NVIDIA NeMo (для поддержки разговорного ИИ) и Audio2Face (для анимации лица на основе ИИ).
Сцена Ramen Shop создана командой художников NVIDIA Lightspeed Studios и полностью визуализирована в Unreal Engine 5 с использованием NVIDIA RTX Direct Illumination (RTXDI) для освещения и теней с трассировкой лучей.
Добавим, что студия GSC Game World использует Audio2Face в процессе разработки S.T.A.L.K.E.R. 2: Heart of Chornobyl.