Текстуры и липсинк: что это такое и как нейросети «рисуют» видеоигры

Что произошло

В Twitter японский разработчик под ником Nao_u представил видеоигру, созданную с помощью нейросети. Об этом пишет Vice.

• Шутер под названием Shoon сделан с помощью генератора изображений Midjourney, который работает на базе искусственного интеллекта. По мнению издания, это единственное достоинство игры.

Если рассматривать релиз в качестве шмупа, то это плохая игра. Ваш персонаж движется слишком быстро, враги и их снаряды — неуклюже и запутанно, а хитбокс плохо работает. Однако все это не имеет значения, поскольку игру выпустили не ради продаж. Вместо этого она представляет собой искусство, созданное ИИ.

Vice

• Отмечается, что Midjourney использовался для создания игровых текстур, в частности городского пейзажа на фоне. Сперва может показаться, что это обычное цифровое изображение, однако при более детальном рассмотрении, как пишет издание, видно, что оно выглядит несколько «искусственно».
• Vice подчеркивает, что дизайн игры напоминает работы Симона Столенхага, который рисует в ретро-футуристическом стиле, однако в нем нет той «меланхоличной грации», которая есть в работах художника. «Технология Midjourney, очевидно, «обучалась» на работах Столенхага и тех, кто работает в похожем стиле. При этом они не получают авторских отчислений», — пишет Vice. Журналисты также отмечают, что это создает этическую проблему использования подобных генераторов.

Как это работает

Midjourney — разработанная одноименной американской компанией нейросеть, которая создает картины на основе текстовых запросов. 

• Как поясняют СМИ, ее работу обеспечивают два технологических прорыва в области ИИ: умение нейросетей понимать человеческую речь и создавать образы.
• В середине июля Midjourney вышла в фазу бета-тестирования и стала доступна обычным пользователям. Для работы с сервисом необходимо зарегистрироваться в Discord — мессенджере, популярном среди геймеров и разработчиков игр. 
• Затем необходимо зайти на официальный сайт Midjourney, авторизоваться через Discord, оплатить подписку или воспользоваться бесплатной версией, которая позволяет сгенерировать и скачать 12 изображений, но не дает доступ к личному кабинету. Благодаря подписке за $10 можно создавать до 200 изображений в месяц, за $30 — генерировать бесконечное количество картинок. Доступна также корпоративная подписка стоимостью $600, которая позволяет генерировать картинки в команде и просматривать работы друг друга.
• Чтобы создать изображение, нужно внести в чат с ботом Midjourney слова, описывающие картину, которую нужно создать. Система сгенерирует четыре изображения на выбор, а дальше наиболее подходящую картинку можно масштабировать, изменять и дорабатывать — также с помощью текстовых инструкций.

Тенденция

Ранее на рынке появлялись аналогичные разработки.

• Нейросеть DALL-E 2, умеющая создавать изображения по текстовому описанию, компания OpenAI представила в апреле текущего года. Первые пользователи, которым удалось ее опробовать, назвали работу алгоритмов «технологическим чудом», поскольку они создавали иллюстрации с высочайшей точностью. С помощью нейросети можно дорисовать некоторые классические произведения искусства. Помимо этого, она умеет создавать различные стилевые вариации одного изображения. Технология также поддерживает несколько режимов, в том числе позволяет трансформировать одно изображение в другое по описанию. Для этого нейросети необходимо предоставить исходную картинку и написать, какая иллюстрация должна получиться в конечном итоге. 
• Тем временем нейросеть Botto, обученная писать картины, уже заработала первый миллион долларов на продаже на аукционе нескольких ее работ в виде NFT. Для их создания технология использует алгоритмы, анализирующие миллионы уже созданных произведений искусства. Изначально алгоритмы генерируют случайные слова и фразы, которые определяют направление работы, которое задает сюжет картины. По окончании работы над изображением нейросеть определяет, соотносится ли оно с изначальным смыслом — в случае несоответствия алгоритм переделывает картину. Технология генерирует около 350 картин в неделю, однако на аукцион попадает лишь часть произведений, отобранных специальной комиссией. 
• В мае 2022 года корпорация Google также выпустила нейросеть Imagen, генерирующую изображения на основе текста. На официальном сайте разработчик утверждает, что его продукт превосходит DALL-E по точности изображений и их соответствию техническому заданию. В ходе создания картины нейросеть создает схематичное изображение, которое потом улучшается — до тех пор, пока ИИ не решит, что не может сделать его еще более похожим на заданные параметры.

Контекст

Технологии искусственного интеллекта пока не могут полностью самостоятельно создавать игры, однако разработчики уже применяют их для решения многих задач в этой индустрии.

• Например, польская студия CD Projekt RED, которая выпустила Cyberpunk 2077, использовала нейросеть JALI для липсинка персонажей на 10 языках, включая русский. Технология анализировала, как должны двигаться губы при произношении того или иного слова, и изменяла лица персонажей в соответствии с тем языком, на котором они говорят.
• Компания Ubisoft использует нейросеть Learned Motion Matching, чтобы уменьшить количество памяти, которое требуется для сглаживания анимации движения персонажей. В результате у разработчиков появилась возможность создавать более сложные интерактивные сцены со множеством уникальных взаимодействий без ограничений.

Кроме того, в 2021 году технологии ИИ стали применять для создания читов. К примеру, это позволяет игрокам не прицеливаться, чтобы выстрелить во врага, — чит сам находит соперника, анализирует его движения и стреляет.

Фото обложки: Nao_u / YouTube