Garlic LLM ejecuta un modelo Qwen de 9B de parámetros sin conexión en una PS4 modificada
La aplicación de código abierto se comunica directamente con la GPU de 2013 de la consola y alcanza hasta 43 tokens por segundo, según su autor.

Puntos clave
- El desarrollador Leonardo Alegría publicó Garlic LLM, una aplicación de código abierto que ejecuta Qwen3.5-9B en una PlayStation 4.
- La aplicación funciona totalmente sin conexión en la GPU de la consola y requiere una PS4 modificada con GoldHEN instalado.
- El autor informa de 31 a 39 tokens por segundo en el chat de texto y hasta 43 al generar código.
- El modelo está cuantizado a unos 4,5 GiB para que quepa en los 8 GB de memoria compartida de la consola.
- El modo de voz lee las respuestas en voz alta en siete idiomas y reduce la velocidad a unos 22 tokens por segundo.
Una consola de 2013 como chatbot local
El desarrollador Leonardo Alegría publicó Garlic LLM, una aplicación de código abierto que ejecuta el modelo de lenguaje Qwen3.5-9B de Alibaba en una PlayStation 4. El modelo tiene 9000 millones de parámetros y funciona totalmente sin conexión en la GPU de la consola, sin necesidad de Linux, de un ordenador externo ni de conexión a internet, según Shazoo.
La aplicación requiere una PS4 modificada con GoldHEN, una herramienta para lanzar software homebrew, instalado. Garlic LLM no contiene exploits ni hace jailbreak a la consola, informó Shazoo. Es gratuita, se distribuye como un único paquete de 5,66 GB en Hugging Face y se instala mediante el Package Installer estándar de la consola.
Cómo cabe en 8 GB
El problema principal era la memoria: un modelo de 9000 millones de parámetros a 8 bits por peso necesita al menos 9 GB, y la CPU y la GPU de la PS4 comparten 8 GB. El autor cuantizó los pesos a 4 bits, y las dos matrices más grandes de cada capa a unos 3,5 bits, lo que redujo el modelo a aproximadamente 4,5 GiB, escribió Shazoo. La caché de atención también se almacena a 4 bits, de modo que cabe un contexto de 16.000 tokens, frente a los 256.000 nativos del modelo.
La aplicación evita los controladores de la consola y se comunica directamente con el chip de vídeo. Sus kernels de cómputo están escritos en OpenCL C y compilados por LLVM para la arquitectura Graphics Core Next de AMD, el diseño sobre el que se construye la GPU de la PS4, mientras que el tokenizador, la interfaz, el renderizado de texto y el audio se ejecutan en C puro en la CPU. El nombre del proyecto alude al tipo de memoria que la GPU de la consola lee directamente, llamado Garlic en la arquitectura de la PS4.
Velocidad y voz
Alegría informa de 31 a 39 tokens por segundo en el chat de texto, y hasta 43 al generar código, gracias a una función de predicción de varios tokens integrada en Qwen3.5 que redacta hasta dos tokens por delante para que el modelo completo los verifique. Shazoo señaló que el autor no publica el prompt ni el método de prueba detrás de esas cifras.
Garlic LLM también gestiona el diálogo hablado. Las respuestas se leen en voz alta en siete idiomas mediante el modelo de voz Chatterbox, lo que reduce el modelo de lenguaje a unos 22 tokens por segundo, y mantener pulsado un botón del mando inicia el dictado a cargo de Parakeet TDT 0.6B v3 de Nvidia, que admite 25 idiomas europeos. La temperatura, que controla la variedad de las respuestas, tiene un valor predeterminado de 0,7; Alibaba recomienda ese valor para tareas generales con el modo de razonamiento desactivado y 1,0 con él activado.
Cómo se compara
El equivalente más cercano es PS5LM, un fork para la PlayStation 5 que ejecuta llama.cpp como aplicación nativa y llega a la GPU de AMD mediante un port del controlador RADV. La PS4 no tiene esa capa de controladores para homebrew, por lo que Garlic LLM parece resolver la tarea con su propio código en lugar de llama.cpp o un port de Vulkan, según Shazoo.
En una PS5 modificada, el modelo más grande Qwen3.8-27B funcionó a unos 20 tokens por segundo, mientras que los más pequeños Gemma 4 E4B y Llama 3.2 3B alcanzaron 61 y 124 tokens por segundo respectivamente. Instalar GoldHEN es responsabilidad del usuario, señaló Shazoo.
Fuentes
3 fuentes- GoHa.Ru NewsPlayStation 4 научили локально запускать нейросеть Qwen 3.5 на 9 миллиардов параметров
- VGTimes NewsНа PS4 запустили ИИ-модель с 9 млрд параметров без ПК и Linux
- ShazooВзломанная PS4 запустила ИИ-модель на 9 миллиардов параметров со скоростью до 43 токенов в секунду
Este artículo fue preparado por BattleTown Newsroom a partir de los informes indicados arriba.
Preguntas frecuentes
¿Garlic LLM necesita conexión a internet?
No. Según Shazoo, el modelo funciona totalmente sin conexión en la GPU de la PlayStation 4.
¿Qué necesita la PS4 para que funcione Garlic LLM?
Una consola modificada con GoldHEN instalado, además de unos 6 GB de espacio libre, o 12 GB si el paquete se copia primero a la unidad interna.
Esta noticia es solo informativa. No constituye asesoramiento financiero, de inversión ni jurídico. Aviso legal
BattleTown: batallas de tanques en el navegador
Nuevos minijuegos, «Asalto» y «Brecha», ya están en BattleTown




Comentarios: 0 comentarios