Garlic LLM: Qwen3.5-9B работает офлайн на GPU взломанной PS4
Веса сжаты примерно до 4,5 ГиБ, чтобы уместиться в 8 ГБ общей памяти; контекст ограничен 16 000 токенов вместо 256 000.

Главное
- Разработчик Леонардо Алегрия выпустил Garlic LLM — приложение с открытым кодом, которое запускает Qwen3.5-9B на PlayStation 4.
- Приложение полностью работает офлайн на GPU консоли и требует взломанной PS4 с установленным GoldHEN.
- Автор сообщает о 31–39 токенах в секунду в текстовом чате и до 43 при генерации кода.
- Модель квантована примерно до 4,5 ГиБ, чтобы поместиться в 8 ГБ общей памяти консоли.
- Голосовой режим озвучивает ответы на семи языках и снижает скорость примерно до 22 токенов в секунду.
Консоль 2013 года как локальный чат-бот
Разработчик Леонардо Алегрия опубликовал Garlic LLM — приложение с открытым кодом, которое запускает языковую модель Qwen3.5-9B от Alibaba на PlayStation 4. В модели 9 млрд параметров, и она полностью работает офлайн на GPU консоли, без Linux, внешнего компьютера и подключения к интернету, сообщает Shazoo.
Приложению нужна взломанная PS4 с установленным GoldHEN — инструментом для запуска homebrew-программ. В самом Garlic LLM нет эксплойтов, и консоль он не разблокирует, писал Shazoo. Приложение бесплатное, распространяется одним пакетом на 5,66 ГБ на Hugging Face и ставится через стандартный установщик пакетов консоли.
Как всё умещается в 8 ГБ
Главной проблемой была память: модели с 9 млрд параметров при 8 битах на вес нужно не меньше 9 ГБ, а процессор и GPU PS4 делят между собой 8 ГБ. Автор квантовал веса до 4 бит, а две самые крупные матрицы в каждом слое — примерно до 3,5 бита, доведя модель примерно до 4,5 ГиБ, писал Shazoo. Кэш внимания тоже хранится в 4 битах, поэтому помещается контекст на 16 000 токенов против родных для модели 256 000.
Приложение обходит драйверы консоли и обращается к видеопроцессору напрямую. Его вычислительные ядра написаны на OpenCL C и скомпилированы LLVM под архитектуру AMD Graphics Core Next, на которой построен GPU PS4, а токенизатор, интерфейс, отрисовка текста и звук работают на процессоре на чистом C. Название проекта отсылает к типу памяти, которую GPU консоли читает напрямую; в архитектуре PS4 она называется Garlic.
Скорость и голос
Алегрия сообщает о 31–39 токенах в секунду в текстовом чате и до 43 при генерации кода — этому помогает встроенная в Qwen3.5 функция предсказания нескольких токенов, которая забегает вперёд на два токена, а полная модель их проверяет. Shazoo отметил, что автор не публикует промпт и методику тестирования, стоящие за этими цифрами.
Garlic LLM умеет и голосовой диалог. Ответы озвучиваются на семи языках через речевую модель Chatterbox, из-за чего языковая модель замедляется примерно до 22 токенов в секунду, а удержание кнопки на геймпаде включает диктовку через Nvidia Parakeet TDT 0.6B v3, которая поддерживает 25 европейских языков. Температура, управляющая разнообразием ответов, по умолчанию равна 0,7; Alibaba рекомендует это значение для общих задач с выключенным режимом рассуждений и 1,0 — с включённым.
С чем сравнить
Ближайший аналог — PS5LM, форк для PlayStation 5, который запускает llama.cpp как нативное приложение и добирается до GPU AMD через порт драйвера RADV. У PS4 такого слоя драйверов для homebrew нет, поэтому Garlic LLM, судя по всему, решает задачу собственным кодом вместо llama.cpp или порта Vulkan, сообщает Shazoo.
На взломанной PS5 более крупная Qwen3.8-27B работала примерно на 20 токенах в секунду, а меньшие Gemma 4 E4B и Llama 3.2 3B достигали 61 и 124 токенов в секунду соответственно. Установка GoldHEN выполняется на риск пользователя, отметил Shazoo.
Источники
3 источника- GoHa.Ru NewsPlayStation 4 научили локально запускать нейросеть Qwen 3.5 на 9 миллиардов параметров
- VGTimes NewsНа PS4 запустили ИИ-модель с 9 млрд параметров без ПК и Linux
- ShazooВзломанная PS4 запустила ИИ-модель на 9 миллиардов параметров со скоростью до 43 токенов в секунду
Материал подготовлен BattleTown Newsroom на основе перечисленных выше отчётов.
Частые вопросы
Нужно ли Garlic LLM подключение к интернету?
Нет. По данным Shazoo, модель полностью работает офлайн на GPU PlayStation 4.
Что нужно PS4, чтобы Garlic LLM заработал?
Взломанная консоль с установленным GoldHEN и примерно 6 ГБ свободного места, или 12 ГБ, если пакет сначала копируется на внутренний диск.
Материал носит информационный характер. Это не финансовая, инвестиционная или юридическая консультация. Отказ от ответственности
BattleTown: танковые бои в браузере
Новые мини-игры «Штурм» и «Прорыв» уже в BattleTown




Комментарии: 0 комментариев