Искусственный интеллект воссоздает игру Super Mario Bros…

Игры и искусственный интеллект как бы не совсем совместимые понятия, но только не в этот раз! В 1985 году 8-разрядный водопроводчик с усами и пристрастием к грибам был образцом ультрасовременного развлечения (игра Денди).

Теперь модель искусственного интеллекта может воссоздать всю игру на основе некоторых базовых подсказок (и иногда с забавными сбоями в процессе).

MarioVGG (ИИ-модель, которая способна генерировать игровой процесс Super Mario Bros.), продемонстрированная в новой научной статье разработчика персонажей видеоигр Virtuals Protocol, показывает, как искусственный интеллект может помочь в совместной работе в будущем при производстве видеоигр, управляемых ИИ, или, возможно, почему этого не следует делать.

• MarioVGG — это эксперимент по созданию с помощью искусственного интеллекта правдоподобных игровых видеороликов на основе серии подсказок о том, как должна выглядеть окружающая среда и как должны вести себя персонажи.

Это расширенная версия инструментов преобразования текста в видео, которые быстро набирают популярность. Он создан на основе более чем 737 000 кадров игрового процесса от Super Mario Bros

Однако искусственный интеллект Марио не делает всего того, что делает персонаж в игре Nintendo, поскольку исследователи ограничили возможности взаимодействия модели всего двумя движениями: ”беги вправо“ и «беги вправо и прыгай”.

Полученные изображения формируют видео, хотя одно из них предполагает, что игрок намеренно усложняет задачу, избегая бонусов, прыгая только на одну высоту или двигаясь влево.

Игры и искусственный интеллект очень интересная тема, но она только развивается…

Ниже вы можете немного ознакомиться с работой MarioVGG. Она удивительно хорошо воссоздает внешний вид игры, но в то же время полна вопиющих ошибок и недочетов.

Хотя последовательности, сгенерированные искусственным интеллектом, в основном согласованы в соответствии с вводимыми пользователем данными и действиями Марио, скорость их создания сильно отличается, и ИИ требуется немного времени для создания каждого кадра. Не говоря уже о том, что Марио время от времени исчезает с экрана или ненадолго превращается во вражеского персонажа.

• Тем не менее, то, что искусственный интеллект демонстрирует частичное понимание причинно-следственной связи между вводимыми пользователем данными и результирующим игровым процессом, приближает потенциальную разработку видеоигр без использования кода к реальности.

ИИ только только научился более менее качественно «оживлять» картинки, а мы уже хотим видеоигры…

Модели искусственного интеллекта, подобные MarioVGG, в ближайшее время не заменят разработчиков видеоигр или стандартный движок, но идея просто объяснить ИИ, как вы хотите, чтобы физика и окружение игры функционировали, вместо того чтобы кодировать все это вручную, слишком заманчива, чтобы технические препятствия могли ее отбить.

Многое еще предстоит решить, поскольку видеоигры предполагают постоянно развивающийся ряд взаимодействий между игроком и игровой средой.

Это гораздо сложнее, чем статичные изображения или простые действия в видео. Точное воспроизведение этой интерактивности в режиме реального времени — задача, которую MarioVGG еще не решила, и не факт, что MarioVGG – единственная, кто прилагает усилия в этом направлении.

• Компания Google GameNGen недавно продемонстрировала игровую версию Doom, созданную с помощью искусственного интеллекта.

Несмотря на то, что игра была более старой, Super Mario Bros. требуется более детальный контроль над передвижением персонажа и взаимодействием с окружающей средой, чем в Doom, поэтому результат получается не таким быстрым и точным.

В настоящее время искусственный интеллект гораздо лучше справляется с текстовыми играми с редкими иллюстрациями, чем с чем-то вроде игры Mario. Но, как и на заре видеоигр, эволюция в сторону динамичных интерактивных видеоигр золотого века Nintendo может произойти быстрее.

Как это работало

Для обучения модели собрали огромный набор данных — более 737 000 кадров из оригинальной игры. При этом исследователи сразу сузили набор действий, которые модель могла выполнять: только «бежать вправо» и «бежать вправо и прыгать».

На основе этих данных и текстовых команд система пыталась рисовать последовательность кадров — то есть по сути «снимать видео» игрового процесса.

Что получалось хорошо: модель действительно демонстрировала частичное понимание физики игры. Например, она корректно показывала, что Марио падает с обрыва или останавливается у препятствия. Иногда она даже «додумывала» новые препятствия в симулируемых уровнях.

А где были сложности

• Скорость. Генерация каждого кадра занимала время, и в целом система была слишком медленной для настоящего интерактивного геймплея.
• Артефакты и ошибки. В сгенерированных последовательностях встречались странные вещи: Марио мог временно пропасть с экрана, превратиться во врага, пройти сквозь объект или изменить размер.
• Ограниченность. Из-за сужения набора действий модель не могла воспроизвести весь арсенал движений из оригинальной игры.

Несмотря на недочёты, исследователи видели в этом важный шаг: показать, что ИИ способен на основе видео и команд частично воссоздавать логику игры, и в перспективе это может помочь в разработке игр без глубокого ручного кодирования физики.

Другие подходы

Есть и иные направления. Например, существовала модель MarioGPT. Её создали разработчики из Копенгагенского университета. Она была нацелена не на симуляцию геймплея в реальном времени, а на генерацию новых уровней для Super Mario Bros..

Чтобы работать с MarioGPT, нужно было задавать текстовые подсказки, а для запуска требовалось базовое знание Python (часть кода авторы выложили в открытый доступ на GitHub).

Ещё был эксперимент, где ИИ вообще не давали исходный код игры — он буквально «смотрел» видео с прохождением и пытался самостоятельно вывести правила (как работает физика, взаимодействие объектов), чтобы воссоздать движок.

• Сейчас ИИ пока не может полностью и безошибочно заменить классический игровой движок для таких сложных интерактивных задач, как Super Mario Bros..

Но эти проекты отлично показывают: у технологии есть большой потенциал — например, для помощи разработчикам в создании прототипов, генерации контента или изучения того, как ИИ понимает причинно-следственные связи в игровых средах.

Игры и искусственный интеллект бесспорно интересная тема но она еще далека от совершенства. Читайте также про безопасность искусственного интеллекта.

НА ГЛАВНУЮ