AI阅读约 3 分钟0 条评论

Garlic LLM在破解版PS4上离线运行90亿参数Qwen模型

作者称,这款开源应用直接与主机2013年的GPU通信,速度最高可达每秒43个token。

发布于
AI · PLAYSTATION 4: 9B

要点

  • 开发者Leonardo Alegría发布了Garlic LLM,这是一款在PlayStation 4上运行Qwen3.5-9B的开源应用。
  • 该应用完全在主机GPU上离线运行,需要一台已安装GoldHEN的破解PS4。
  • 作者报告称,文本聊天中速度为每秒31至39个token,生成代码时最高可达每秒43个token。
  • 模型被量化到约4.5 GiB,以适配主机8 GB的共享内存。
  • 语音模式以七种语言朗读回答,速度降至约每秒22个token。

2013年的主机变身本地聊天机器人

开发者Leonardo Alegría发布了Garlic LLM,这是一款在PlayStation 4上运行阿里巴巴Qwen3.5-9B语言模型的开源应用。据Shazoo报道,该模型有90亿参数,完全在主机GPU上离线运行,不需要Linux、外部电脑或网络连接。

该应用需要一台已安装GoldHEN的破解PS4,GoldHEN是用于启动自制软件的工具。据Shazoo报道,Garlic LLM本身不含漏洞利用程序,也不会越狱主机。该应用免费,在Hugging Face上以单个5.66 GB安装包提供,通过主机的标准Package Installer安装。

如何装进8 GB内存

主要问题是内存:90亿参数的模型按每权重8位计算至少需要9 GB,而PS4的CPU和GPU共享8 GB。据Shazoo报道,作者将权重量化到4位,每层中最大的两个矩阵量化到约3.5位,使模型降至约4.5 GiB。注意力缓存同样以4位存储,因此可容纳16000个token的上下文,而模型原生支持256000个。

该应用绕过主机驱动,直接与视频芯片通信。其计算内核用OpenCL C编写,由LLVM针对AMD的Graphics Core Next架构编译,PS4的GPU正是基于这一设计;而分词器、界面、文本渲染和音频则以纯C在CPU上运行。项目名称指的是主机GPU可直接读取的那类内存,在PS4架构中称为Garlic。

速度与语音

Alegría报告称,文本聊天中速度为每秒31至39个token,生成代码时最高可达每秒43个token,这得益于Qwen3.5内置的多token预测功能,该功能最多提前起草两个token供完整模型校验。Shazoo指出,作者并未公布这些数字背后的提示词或测试方法。

Garlic LLM也支持语音对话。回答通过Chatterbox语音模型以七种语言朗读,这使语言模型的速度降至约每秒22个token;按住手柄按键可启动听写,由Nvidia的Parakeet TDT 0.6B v3处理,支持25种欧洲语言。控制回答多样性的温度参数默认值为0.7;阿里巴巴建议通用任务在关闭推理模式时使用该值,开启推理模式时使用1.0。

对比情况

最接近的同类项目是PS5LM,这是面向PlayStation 5的分支版本,以原生应用运行llama.cpp,并通过移植的RADV驱动访问AMD GPU。PS4没有面向自制软件的这种驱动层,因此据Shazoo报道,Garlic LLM似乎是用自己的代码而非llama.cpp或Vulkan移植来完成这项任务。

在破解的PS5上,更大的Qwen3.8-27B运行速度约为每秒20个token,而较小的Gemma 4 E4B和Llama 3.2 3B分别达到每秒61和124个token。Shazoo指出,安装GoldHEN需自行承担风险。

来源

3 个来源
  1. GoHa.Ru NewsPlayStation 4 научили локально запускать нейросеть Qwen 3.5 на 9 миллиардов параметров
  2. VGTimes NewsНа PS4 запустили ИИ-модель с 9 млрд параметров без ПК и Linux
  3. ShazooВзломанная PS4 запустила ИИ-модель на 9 миллиардов параметров со скоростью до 43 токенов в секунду

本文由 BattleTown Newsroom 根据上述报告编写。

常见问题

Garlic LLM需要联网吗?

不需要。据Shazoo报道,该模型完全在PlayStation 4的GPU上离线运行。

PS4运行Garlic LLM需要什么条件?

需要一台已安装GoldHEN的破解主机,以及约6 GB可用空间;若先将安装包复制到内置硬盘,则需要12 GB。

本文仅供参考,不构成财务、投资或法律建议。 免责声明

评论: 0 条评论

BattleTown:浏览器坦克对战

全新小游戏「强攻」和「突破」已登陆 BattleTown

返回资讯列表

延伸阅读

请至少输入 2 个字符