Исследователи в области искусственного интеллекта разработали бота для игры Minecraft, способного самостоятельно исследовать и расширять свои возможности в открытом мире игры. Однако, в отличие от других ботов, этот бот в основном написал свой собственный код методом проб и ошибок и множества запросов к GPT-4.
Источник: https://techcrunch.com/2023/06/02/this-ai-used-gpt-4-to-become-an-expert-minecraft-player/ перевод: Лободин Егор ФПЛб-201
Minecraft — отличное место для тестирования подобных вещей, поскольку это крайне приблизительное представление реального мира, с простыми и понятными правилами и физикой, но в то же время достаточно сложное и открытое для того, чтобы можно было достичь или попробовать множество вещей. Специально созданные симуляторы также являются хорошим вариантом, но они имеют свои собственные недостатки.
Экспериментальная система, названная Voyager, является примером «воплощенного агента» — искусственного интеллекта, который способен свободно и целенаправленно двигаться и действовать в симулированной или реальной среде. В отличие от персональных ассистентов и чат-ботов, которым не требуется физическое взаимодействие с окружающим миром, такой как навигация в сложных условиях для выполнения задач, домашние роботы будущего именно этим и будут заниматься. Поэтому исследования в этой области находятся в активной разработке, чтобы понять, каким образом они смогут успешно справляться с такими задачами.
MineDojo – это платформа для моделирования, разработанный на основе Minecraft, поскольку нельзя просто взять случайный ИИ и ожидать, что он будет понимать, что делают все эти блоки и свиньи. Его создатели, которые во многих аспектах пересекаются с командой Voyager, собрали видеоролики об игре на YouTube, транскрипты, статьи в википедии и множество сообщений на Reddit из р/minecraft, а также другие данные, чтобы пользователи могли создать или настроить модель ИИ на их основе. Это также позволяет более-менее объективно оценить эти модели, проверив, насколько успешно они выполняют задачи, такие как построение загона вокруг ламы или поиск и добыча алмаза.
Voyager превосходит в выполнении этих задач, выполняя их намного лучше другой единственной модели, которая приближается к ней — Auto-GPT. Но у них схожий подход: используя GPT-4, они пишут свой собственный код по мере необходимости.
Обычно вы просто обучаете модель на всех этих полезных данных Minecraft и надеетесь, что она сама разберется, как сражаться со скелетами, когда наступает ночь. Однако, Voyager начинает сравнительно наивно, и по мере своих взаимодействий с игровым миром он ведет небольшой внутренний диалог с GPT-4 о том, что ему следует делать и как это сделать.
Например, наступает ночь, и появляются скелеты. Агент имеет общее представление об этом, но он задает себе вопрос: «Что бы сделал опытный игрок в этой игре, если рядом появятся монстры?» Собственно, GPT-4 говорит, что, если вы хотите безопасно исследовать мир, вам следует создать и экипировать меч, затем атаковать скелета, избегая получения урона. И это общее представление о том, что нужно делать, преобразуется в конкретные задачи: добыть камень и дерево, скрафтить меч на верстаке, экипироваться и сразиться со скелетом.
После выполнения этих задач они заносятся в общую библиотеку навыков, чтобы позже, когда будет поставлена задача «спуститься в пещеру и найти железную руду», не пришлось снова учиться сражаться с нуля. Он все еще использует GPT, но использует более доступную и быструю версию GPT-3.5, которая сообщает ему наиболее релевантные навыки для данной ситуации — таким образом, он не пытается добывать скелета и сражаться с рудой.
Это похоже на агента, такого как Auto-GPT, который, столкнувшись с незнакомым интерфейсом, должен самостоятельно научиться в нем ориентироваться, чтобы достичь своей цели. Но Minecraft — это гораздо более сложная среда, чем то, с чем он привык работать, поэтому специализированный агент, такой как Voyager, справляется гораздо лучше. Он находит больше предметов, овладевает большим количеством навыков и исследует гораздо большую территорию по сравнению с другими ботами.
Интересно, но, что, возможно, неудивительно, GPT-4 превосходит GPT-3.5 (т.е. ChatGPT) в генерации полезного кода. При тестировании, заменяя первую версию на вторую, агент уже на ранних этапах сталкивался с преградой, возможно, даже буквально, и не мог прогрессировать. Из разговора с двумя моделями может быть неочевидно, что одна из них гораздо умнее, но правда в том, что необходимо быть не особенно умным, чтобы вести явно интеллигентную беседу (спросите меня, откуда я знаю). Однако, написание кода намного сложнее, и GPT-4 в этом отношении был крупным обновлением.
Цель этого исследования не в том, чтобы изжить игроков в Minecraft, а в том, чтобы найти методы, с помощью которых относительно простые модели ИИ смогут улучшить себя на основе своего «опыта», если можно так выразиться. Если мы планируем использовать роботов в наших домах, больницах и офисах для помощи, им необходимо уметь учиться и применять полученные знания в будущих ситуациях.