Nvidia ACE демонстрирует игровые технологии с генеративным искусственным интеллектом для NPC

Nvidia продемонстрирует свою технологию Avatar Cloud Engine для игр, использующих генеративный ИИ, во время Computex. Игроки должны иметь возможность вести реалистичные разговоры с NPC. Технология может работать как локально, так и в облаке, сообщает компания.

ACE от Nvidia для игр Это позволяет пользователям разговаривать с NPC в играх через микрофон. Эта технология использует генеративную языковую модель ИИ, которая может генерировать ответы. Nvidia обеспечивает это Собственный фреймворк NeMo, который позволяет разработчикам создавать, изменять и использовать языковые модели в своих играх. Разработчики могут настраивать языковые модели, используя соглашения о символах и фон, и предотвращать неуместные ответы, используя Ограждения НеМо.

ACE для игр также включает Nvidia Riva, технологию преобразования текста в речь и речи в текст. Это преобразует вопросы, которые задают игроки, в текст. Этот текст вводится в языковую модель для генерации ответа, а затем снова используется Riva для преобразования этого ответа в вербальный ответ.

Модель Nvidia Omniverse Audio2Face, в свою очередь, может создавать реалистичные выражения лица и анимацию. Это должно гарантировать, среди прочего, что движения рта соответствуют ответам, данным NPC. Эта технология ИИ уже существует и используется, в том числе, в лицевой анимации грядущей игры Stalker 2: Heart of Chernobyl, хотя в ней нет генеративного ИИ.

Компания представила на выставке Computex Демо ACE для игр, созданный компанией в сотрудничестве с компанией Convai, занимающейся искусственным интеллектом, и представленный в Unreal Engine 5. В демоверсии один игрок разговаривает с NPC по имени Джин, который владеет магазином лапши. Игрок задает вопросы через свой микрофон, а Джин дает соответствующие ответы. Наконец, Джин дает игроку задание, где нужно остановить могущественного криминального авторитета.

По словам Nvidia, ACE могут оптимизировать игровые нейронные сети для различных систем, позволяя разработчикам идти на компромисс в отношении размера, производительности и качества. Модели можно запускать в облаке или локально на компьютерах. По словам Nvidia, модели оптимизированы для минимально возможной задержки.