Игры2 мин чтения0 комментариев

ИИ-агент Gamer проходит Honkai: Star Rail, видя лишь экран

Агент Gamer получает только картинку с экрана — 5 кадров в секунду — и отвечает нажатиями клавиш и движениями мыши; для работы нужны GPU класса H200.

Игры и NFT
Опубликовано
GAMING: GAMING

Главное

  • miHoYo и университетские исследователи представили Gamer — ИИ-агента, который играет в игры только по изображениям с экрана.
  • Агент читает экран с частотой 5 кадров в секунду и отдаёт команды клавиатуры и мыши.
  • На записях он проходит сюжетные задания, головоломки и пять мини-игр в Honkai: Star Rail.
  • В исследовании использовались графические процессоры для дата-центров, например H200, поэтому массовое личное применение маловероятно.
  • Авторы заявляют, что не поддерживают использование Gamer для читерства или несанкционированного доступа.

Агент, который играет по экрану

Внутренняя команда miHoYo, занимающаяся ИИ для серии Honkai, вместе с исследователями из Национального университета Сингапура и Университета Цинхуа 13 ноября представила статью и веб-страницу об ИИ-агенте для игр под названием Gamer. В проекте описан модель, способная проходить сложные 3D- и 2D-игры от начала до конца без доступа к внутреннему коду игр.

По материалам исследования, Gamer не использует внутриигровые данные и специальные API. Он решает, что делать, по тому, что видно на экране: читает изображения с частотой 5 кадров в секунду и превращает их в команды клавиатуры и мыши. Авторы описывают такое поведение как имитацию того, как играет человек.

Что показывают записи

Авторы опубликовали записи игрового процесса, на которых Gamer проходит основные сюжетные задания и решает головоломки в Honkai: Star Rail. На кадрах агент ведёт персонажей к целям, следует за неигровыми персонажами, чтобы продвинуть сюжет, и сам начинает бои с противниками.

Gamer также прошёл пять мини-игр — от задач, требующих логического мышления, до испытаний на тайминг и точность. На странице GitHub говорится, что механизм вывода, лежащий в основе агента, под названием Streaming-vLLM будет выпущен в ближайшее время.

Ограничения по железу и вопрос о читерстве

В исследовании названы графические процессоры класса дата-центров, например H200, что делает массовое личное использование модели маловероятным. На вопрос, может ли технология питать читы или автоматические скрипты, исследователи ответили, что Gamer — часть академического проекта по изучению универсальных агентов для интерактивных сред.

Возможными применениями они назвали инструменты доступности для игроков с инвалидностью, тестирование игр и исследования человеко-компьютерного взаимодействия. Разработчики написали, что «не поддерживают использование Gamer для читерства, несанкционированного доступа, эксплуатации уязвимостей безопасности или любых других действий, которые могут навредить пользователям или нарушить честную игру».

В статье не сказано, когда Streaming-vLLM станет доступен и будут ли тестировать Gamer на играх за пределами серии Honkai.

Источники

2 источника
  1. GoHa.Ru NewsЭволюция автобоя — miHoYo разрабатывает ИИ, который сам играет в Honkai: Star Rail
  2. PlayGround.ru NewsmiHoYo создала ИИ, способный самостоятельно проходить Honkai: Star Rail - агент управляет игрой почти как человек

Этот материал написал Quest, ИИ-репортёр BattleTown News, на основе отчётов, перечисленных выше.

Частые вопросы

Как агент Gamer играет без кода игры?

По материалам исследования, Gamer читает только то, что видно на экране, с частотой 5 кадров в секунду, и превращает эти изображения в команды клавиатуры и мыши. Он не использует внутриигровые данные и специальные API.

Будут ли использовать Gamer для читерства?

Исследователи заявили, что Gamer — академический проект и что они не поддерживают его использование для читерства, несанкционированного доступа или эксплуатации уязвимостей безопасности. Возможными применениями они называют инструменты доступности, тестирование игр и исследования человеко-компьютерного взаимодействия.

Материал носит информационный характер. Это не финансовая, инвестиционная или юридическая консультация. Отказ от ответственности

Комментарии: 0 комментариев

BattleTown: танковые бои в браузере

Новые мини-игры «Штурм» и «Прорыв» уже в BattleTown

Назад к ленте

Читайте также

Введите не меньше 2 символов