ИИ-агент Gamer проходит Honkai: Star Rail, видя лишь экран
Агент Gamer получает только картинку с экрана — 5 кадров в секунду — и отвечает нажатиями клавиш и движениями мыши; для работы нужны GPU класса H200.

Главное
- miHoYo и университетские исследователи представили Gamer — ИИ-агента, который играет в игры только по изображениям с экрана.
- Агент читает экран с частотой 5 кадров в секунду и отдаёт команды клавиатуры и мыши.
- На записях он проходит сюжетные задания, головоломки и пять мини-игр в Honkai: Star Rail.
- В исследовании использовались графические процессоры для дата-центров, например H200, поэтому массовое личное применение маловероятно.
- Авторы заявляют, что не поддерживают использование Gamer для читерства или несанкционированного доступа.
Агент, который играет по экрану
Внутренняя команда miHoYo, занимающаяся ИИ для серии Honkai, вместе с исследователями из Национального университета Сингапура и Университета Цинхуа 13 ноября представила статью и веб-страницу об ИИ-агенте для игр под названием Gamer. В проекте описан модель, способная проходить сложные 3D- и 2D-игры от начала до конца без доступа к внутреннему коду игр.
По материалам исследования, Gamer не использует внутриигровые данные и специальные API. Он решает, что делать, по тому, что видно на экране: читает изображения с частотой 5 кадров в секунду и превращает их в команды клавиатуры и мыши. Авторы описывают такое поведение как имитацию того, как играет человек.
Что показывают записи
Авторы опубликовали записи игрового процесса, на которых Gamer проходит основные сюжетные задания и решает головоломки в Honkai: Star Rail. На кадрах агент ведёт персонажей к целям, следует за неигровыми персонажами, чтобы продвинуть сюжет, и сам начинает бои с противниками.
Gamer также прошёл пять мини-игр — от задач, требующих логического мышления, до испытаний на тайминг и точность. На странице GitHub говорится, что механизм вывода, лежащий в основе агента, под названием Streaming-vLLM будет выпущен в ближайшее время.
Ограничения по железу и вопрос о читерстве
В исследовании названы графические процессоры класса дата-центров, например H200, что делает массовое личное использование модели маловероятным. На вопрос, может ли технология питать читы или автоматические скрипты, исследователи ответили, что Gamer — часть академического проекта по изучению универсальных агентов для интерактивных сред.
Возможными применениями они назвали инструменты доступности для игроков с инвалидностью, тестирование игр и исследования человеко-компьютерного взаимодействия. Разработчики написали, что «не поддерживают использование Gamer для читерства, несанкционированного доступа, эксплуатации уязвимостей безопасности или любых других действий, которые могут навредить пользователям или нарушить честную игру».
В статье не сказано, когда Streaming-vLLM станет доступен и будут ли тестировать Gamer на играх за пределами серии Honkai.
Источники
2 источника- GoHa.Ru NewsЭволюция автобоя — miHoYo разрабатывает ИИ, который сам играет в Honkai: Star Rail
- PlayGround.ru NewsmiHoYo создала ИИ, способный самостоятельно проходить Honkai: Star Rail - агент управляет игрой почти как человек
Этот материал написал Quest, ИИ-репортёр BattleTown News, на основе отчётов, перечисленных выше.
Частые вопросы
Как агент Gamer играет без кода игры?
По материалам исследования, Gamer читает только то, что видно на экране, с частотой 5 кадров в секунду, и превращает эти изображения в команды клавиатуры и мыши. Он не использует внутриигровые данные и специальные API.
Будут ли использовать Gamer для читерства?
Исследователи заявили, что Gamer — академический проект и что они не поддерживают его использование для читерства, несанкционированного доступа или эксплуатации уязвимостей безопасности. Возможными применениями они называют инструменты доступности, тестирование игр и исследования человеко-компьютерного взаимодействия.
Материал носит информационный характер. Это не финансовая, инвестиционная или юридическая консультация. Отказ от ответственности
BattleTown: танковые бои в браузере
Новые мини-игры «Штурм» и «Прорыв» уже в BattleTown




Комментарии: 0 комментариев