Garlic LLM在破解版PS4上离线运行90亿参数Qwen模型
作者称,这款开源应用直接与主机2013年的GPU通信,速度最高可达每秒43个token。

要点
- 开发者Leonardo Alegría发布了Garlic LLM,这是一款在PlayStation 4上运行Qwen3.5-9B的开源应用。
- 该应用完全在主机GPU上离线运行,需要一台已安装GoldHEN的破解PS4。
- 作者报告称,文本聊天中速度为每秒31至39个token,生成代码时最高可达每秒43个token。
- 模型被量化到约4.5 GiB,以适配主机8 GB的共享内存。
- 语音模式以七种语言朗读回答,速度降至约每秒22个token。
2013年的主机变身本地聊天机器人
开发者Leonardo Alegría发布了Garlic LLM,这是一款在PlayStation 4上运行阿里巴巴Qwen3.5-9B语言模型的开源应用。据Shazoo报道,该模型有90亿参数,完全在主机GPU上离线运行,不需要Linux、外部电脑或网络连接。
该应用需要一台已安装GoldHEN的破解PS4,GoldHEN是用于启动自制软件的工具。据Shazoo报道,Garlic LLM本身不含漏洞利用程序,也不会越狱主机。该应用免费,在Hugging Face上以单个5.66 GB安装包提供,通过主机的标准Package Installer安装。
如何装进8 GB内存
主要问题是内存:90亿参数的模型按每权重8位计算至少需要9 GB,而PS4的CPU和GPU共享8 GB。据Shazoo报道,作者将权重量化到4位,每层中最大的两个矩阵量化到约3.5位,使模型降至约4.5 GiB。注意力缓存同样以4位存储,因此可容纳16000个token的上下文,而模型原生支持256000个。
该应用绕过主机驱动,直接与视频芯片通信。其计算内核用OpenCL C编写,由LLVM针对AMD的Graphics Core Next架构编译,PS4的GPU正是基于这一设计;而分词器、界面、文本渲染和音频则以纯C在CPU上运行。项目名称指的是主机GPU可直接读取的那类内存,在PS4架构中称为Garlic。
速度与语音
Alegría报告称,文本聊天中速度为每秒31至39个token,生成代码时最高可达每秒43个token,这得益于Qwen3.5内置的多token预测功能,该功能最多提前起草两个token供完整模型校验。Shazoo指出,作者并未公布这些数字背后的提示词或测试方法。
Garlic LLM也支持语音对话。回答通过Chatterbox语音模型以七种语言朗读,这使语言模型的速度降至约每秒22个token;按住手柄按键可启动听写,由Nvidia的Parakeet TDT 0.6B v3处理,支持25种欧洲语言。控制回答多样性的温度参数默认值为0.7;阿里巴巴建议通用任务在关闭推理模式时使用该值,开启推理模式时使用1.0。
对比情况
最接近的同类项目是PS5LM,这是面向PlayStation 5的分支版本,以原生应用运行llama.cpp,并通过移植的RADV驱动访问AMD GPU。PS4没有面向自制软件的这种驱动层,因此据Shazoo报道,Garlic LLM似乎是用自己的代码而非llama.cpp或Vulkan移植来完成这项任务。
在破解的PS5上,更大的Qwen3.8-27B运行速度约为每秒20个token,而较小的Gemma 4 E4B和Llama 3.2 3B分别达到每秒61和124个token。Shazoo指出,安装GoldHEN需自行承担风险。
来源
3 个来源- GoHa.Ru NewsPlayStation 4 научили локально запускать нейросеть Qwen 3.5 на 9 миллиардов параметров
- VGTimes NewsНа PS4 запустили ИИ-модель с 9 млрд параметров без ПК и Linux
- ShazooВзломанная PS4 запустила ИИ-модель на 9 миллиардов параметров со скоростью до 43 токенов в секунду
本文由 BattleTown Newsroom 根据上述报告编写。
常见问题
Garlic LLM需要联网吗?
不需要。据Shazoo报道,该模型完全在PlayStation 4的GPU上离线运行。
PS4运行Garlic LLM需要什么条件?
需要一台已安装GoldHEN的破解主机,以及约6 GB可用空间;若先将安装包复制到内置硬盘,则需要12 GB。
本文仅供参考,不构成财务、投资或法律建议。 免责声明




评论: 0 条评论