Новый патент Microsoft описывает процесс, в котором фиксируются выражения лица игрока, его речь и даже возможные фырчания или мурчания, затем передаются ИИ для переработки происходящего в игре. По замыслу, запись этих данных может использоваться для создания и корректировки элементов сюжета, целей, персонажей и окружения на основе того, как игрок играет. В тексте патента подчёркнуто, что речь идёт не только о лице, но и о любых словах и звуках, которые может произносить игрок.

В самой схеме patents описан процесс, где разработчик выступает как инициатор промптов: через текст, изображения и аудиофайлы ИИ создаёт элементы игры «на высоком уровне», которые затем финишно дописываются или модифицируются с помощью новых подсказок. По завершении дизайнер может внедрить полученное в проект. В патенте подчёркнуто, что начальный промпт может задавать общую тему, идею или цель, а также персонажей и базовую сюжетную канву.

Патент допускает два основных варианта использования: или инициировать генеративный процесс на стороне разработчика, или позволить игроку стать частью дизайна, когда ИИ адаптирует мир по его действиям и «метрикам вовлечённости» — как в рамках разработки, так и между сборками релизов. В частности, речь идёт о том, что данные тестировщиков и ранних копий игры могут подпитывать модель до того момента, как изменения попадут в официальный билд.

В документе также упоминается возможность «живых» диалогов с NPC, где ИИ может не только отвечать, но и порождать новые задачи, объекты и даже изменения в игровом мире, связанные с диалогом. Авторы подчёркивают, что вывод естественного языка и ответы генеративного агента потенциально безграничны. При этом приводятся примеры, где входом служит местоположение в игре и контекст беседы с другими персонажами.

Стоит отметить, что авторы патента прямо указывают: на данный момент нет доказательств того, что Microsoft реализовала подобную технологию. Это скорее заявление о том, как такая технология могла бы работать, если бы её создали, и чтобы защитить идеи от конкурентов. Также в патенте говорится, что данные о перемещениях игроков и времени общения с NPC могут использоваться для коррекции игры, а «с разрешения» — и для анализа видеопотоков и голосовых комментариев во время игры.

Авторы патента приводят пример меньшей, не столь «шокирующей» версии — игровой квест о выполнении задач у Волшебника из страны Оз, где генерируемый ИИ может предложить задачи, сбор нужных предметов и т. п. Это служит напоминанием, что даже без реализации концепции, идеи остаются предметом обсуждения и возможного судебного использования.