PS5 的 RDNA 2 GPU 共享这 11.4 GB 的内存,破解后用 ggml-vulkan 的 llama.cpp 来载入 LLM 放一些小型模型,以及一个有点酷的界面。演示中可以安装 unsloth 的 Qwen3.8-27B-UD-Q2_K_XL,64K 上下文可以跑到 20 tps。事实上 PS5 的内存带宽有 448 GB/s,家用设备里不算慢了。
PS5 的 RDNA 2 GPU 共享这 11.4 GB 的内存,破解后用 ggml-vulkan 的 llama.cpp 来载入 LLM 放一些小型模型,以及一个有点酷的界面。演示中可以安装 unsloth 的 Qwen3.8-27B-UD-Q2_K_XL,64K 上下文可以跑到 20 tps。事实上 PS5 的内存带宽有 448 GB/s,家用设备里不算慢了。
暂无笔记
..ddddd.. ..ddffff... d. .dfd..dd.. . ..........dd.d...... . ....d.d.fdddd .dd...d.. . . .dffdd........dd.d...d..dd d . .ddfd. . .d..d....dd . ..dd.fddd... ....d... . ddfdfdfddf. ....... . . .....dddd.ddd. .d. .d. d . . .d......ddfdddd. ..d..dd. . . . ..dd. .....ddddd . d..d . .d. . ..... ...d. . ..... ......d...... ......dd.. dd..d . dd.dd..d.. .d..dd f .ddd.. .ddd..dddd... .dd....... d . d.dddd.. d . ......d. d f ...ddd..ddd. ... .f .............d. .d . . .. .... .d.ddd.dd.. ...dd d... . ...d..... ... .. ........dd..d f. .... . ......d.d... ..d..fd.... .... ... .ddddd..dd.f. .dd...d..d ... ..........f.fdd.d... d ....d..... d...... ........dfddfd. ... ..d.df f.......... ....ddd. .d... . ........... .....ddd. ... .d ........dd........dd.. .f .. .......dd......... . .. ............. . .. . ............. ... . .. .. ........ . .. .. d.......... . ... . .... ... .. . . ... .. . ...d. ...d..... .. . .......... .d...d . . . ...... ..... ..d.... . ..f............ ....d..... ... d fddd........... . ...f .dd.............d
可左右滑动查看