AI3 min de leitura0 comentário

Garlic LLM roda modelo Qwen de 9 bi de parâmetros offline em PS4 desbloqueada

O aplicativo de código aberto fala diretamente com a GPU de 2013 do console e chega a 43 tokens por segundo, diz o autor.

Publicado
AI · PLAYSTATION 4: 9B

Pontos principais

  • O desenvolvedor Leonardo Alegría lançou o Garlic LLM, aplicativo de código aberto que roda o Qwen3.5-9B em um PlayStation 4.
  • O aplicativo funciona totalmente offline na GPU do console e exige um PS4 desbloqueado com o GoldHEN instalado.
  • O autor relata de 31 a 39 tokens por segundo no chat de texto e até 43 ao gerar código.
  • O modelo é quantizado para cerca de 4,5 GiB para caber nos 8 GB de memória compartilhada do console.
  • O modo de voz lê as respostas em sete idiomas e reduz a velocidade para cerca de 22 tokens por segundo.

Um console de 2013 como chatbot local

O desenvolvedor Leonardo Alegría publicou o Garlic LLM, um aplicativo de código aberto que roda o modelo de linguagem Qwen3.5-9B, da Alibaba, em um PlayStation 4. O modelo tem 9 bilhões de parâmetros e roda totalmente offline na GPU do console, sem Linux, computador externo ou conexão à internet, segundo o Shazoo.

O aplicativo exige um PS4 desbloqueado com o GoldHEN, ferramenta para executar software homebrew, instalado. O Garlic LLM em si não contém exploits e não faz jailbreak no console, informou o Shazoo. Ele é gratuito, vem como um único pacote de 5,66 GB no Hugging Face e é instalado pelo Package Installer padrão do console.

Como cabe em 8 GB

O problema principal era a memória: um modelo de 9 bilhões de parâmetros a 8 bits por peso precisa de pelo menos 9 GB, e a CPU e a GPU do PS4 compartilham 8 GB. O autor quantizou os pesos para 4 bits, e as duas maiores matrizes de cada camada para cerca de 3,5 bits, levando o modelo a aproximadamente 4,5 GiB, escreveu o Shazoo. O cache de atenção também é armazenado em 4 bits, de modo que um contexto de 16.000 tokens cabe, contra os 256.000 nativos do modelo.

O aplicativo contorna os drivers do console e fala diretamente com o chip de vídeo. Seus kernels de computação são escritos em OpenCL C e compilados pelo LLVM para a arquitetura Graphics Core Next da AMD, base da GPU do PS4, enquanto o tokenizador, a interface, a renderização de texto e o áudio rodam em C puro na CPU. O nome do projeto se refere ao tipo de memória que a GPU do console lê diretamente, chamada Garlic na arquitetura do PS4.

Velocidade e voz

Alegría relata de 31 a 39 tokens por segundo no chat de texto, e até 43 ao gerar código, graças a um recurso de previsão de múltiplos tokens embutido no Qwen3.5 que rascunha até dois tokens à frente para o modelo completo verificar. O Shazoo observou que o autor não publica o prompt nem o método de teste por trás desses números.

O Garlic LLM também lida com diálogo falado. As respostas são lidas em voz alta em sete idiomas pelo modelo de fala Chatterbox, o que reduz o modelo de linguagem para cerca de 22 tokens por segundo, e segurar um botão do controle inicia o ditado feito pelo Parakeet TDT 0.6B v3, da Nvidia, que suporta 25 idiomas europeus. A temperatura, que controla a variação das respostas, tem padrão 0,7; a Alibaba recomenda esse valor para tarefas gerais com o modo de raciocínio desligado e 1,0 com ele ligado.

Como se compara

O equivalente mais próximo é o PS5LM, um fork para o PlayStation 5 que roda o llama.cpp como aplicativo nativo e alcança a GPU da AMD por meio de um port do driver RADV. O PS4 não tem essa camada de driver para homebrew, então o Garlic LLM parece resolver a tarefa com código próprio em vez do llama.cpp ou de um port Vulkan, segundo o Shazoo.

Em um PS5 desbloqueado, o Qwen3.8-27B, maior, rodou a cerca de 20 tokens por segundo, enquanto o Gemma 4 E4B e o Llama 3.2 3B, menores, chegaram a 61 e 124 tokens por segundo, respectivamente. A instalação do GoldHEN é feita por conta e risco do usuário, observou o Shazoo.

Fontes

3 fontes
  1. GoHa.Ru NewsPlayStation 4 научили локально запускать нейросеть Qwen 3.5 на 9 миллиардов параметров
  2. VGTimes NewsНа PS4 запустили ИИ-модель с 9 млрд параметров без ПК и Linux
  3. ShazooВзломанная PS4 запустила ИИ-модель на 9 миллиардов параметров со скоростью до 43 токенов в секунду

Este artigo foi preparado pela BattleTown Newsroom a partir dos relatórios indicados acima.

Perguntas frequentes

O Garlic LLM precisa de conexão à internet?

Não. Segundo o Shazoo, o modelo roda totalmente offline na GPU do PlayStation 4.

O que o PS4 precisa para o Garlic LLM funcionar?

Um console desbloqueado com o GoldHEN instalado, além de cerca de 6 GB de espaço livre, ou 12 GB se o pacote for primeiro copiado para o disco interno.

Esta notícia tem fins meramente informativos. Não constitui aconselhamento financeiro, de investimento ou jurídico. Aviso legal

Comentários: 0 comentário

BattleTown: batalhas de tanques no navegador

Novos minijogos, «Assalto» e «Brecha», já estão no BattleTown

Voltar ao feed

Leia também

Escreva pelo menos 2 caracteres