抡锤者

@kadingche 7900XTX

1.5 ornith测试中，太慢了，Deepseek说由于新框架的原因，不建议现在部署，等段时间吧

ornith1.5下载中...

@weidong 128 d3+7900xtx

结论：
27B Qwen3.8-27B dense 首token 0.47s 30.4 tok/s 加载 14s
35B Qwen3.6-35B A3B 首token 1.46s 25.1 tok/s 加载 10s
125B Qwen3.8-Flash-Next A3B 首token 7.69s 8.4 tok/s 加载 18s

配置：
【27B】Qwen3.8-27B-Uncensored-Q4_K_M.gguf (16G, dense 密集模型)
模型文件 : ~/models/Qwen3.8-27B-Uncensored-Q4_K_M.gguf
量化 : Q4_K_M，dense（无 MoE，27B 参数全参与计算）
端口 : 8081
启动参数 :
--host 0.0.0.0 --port 8081
-m <模型路径>
-ngl 999 # 全 GPU
-c 262144 # 256K 上下文
-b 2048 -ub 2048
-fa on # flash attention
-ctk q4_0 -ctv q4_0 # KV cache 量化
--jinja --reasoning-preserve
-np 1
--threads 8 --threads-batch 44 # decode 8线程防超订，prefill 44线程
（脚本: ~/qwen-server/start-27b.sh）

【35B】Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf (20G, MoE A3B)
模型文件 : ~/models/qwen3.6-35b-uncensored/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
量化 : Q4_K_M，MoE 35B 总参数 / 3B 激活
端口 : 8084
启动参数 :
--host 0.0.0.0 --port 8084
-m <模型路径>
-ngl 999 # 所有层先映射 GPU
-ncmoe 24 # 24 个 MoE 专家踢到 CPU 内存（省显存）
-c 204800 # 200K 上下文
-b 2048 -ub 2048
-fa on
-ctk q4_0 -ctv q4_0
--jinja --reasoning-preserve
-np 1
--threads 44 --threads-batch 44
（脚本: ~/qwen-server/start-35b-expert-offload.sh）

【125B】Qwen3.8-Flash-Next-UD-Q4_K_XL (4 分片共 104G, MoE A3B/512专家)
模型文件 : ~/models/Qwen3.8-Flash-Next/UD-Q4_K_XL/Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf
（-m 指向 00001，llama.cpp 自动识别同目录其余 3 片）
量化 : UD-Q4_K_XL，实测总参数 176.94B / A3B 激活 / 512 专家
端口 : 8085（无生产脚本，测试/对比时用）
启动参数 :
--host 127.0.0.1 --port 8085
-m <00001-of-00004.gguf>
-ngl 999
-ncmoe 40 # 40 个专家走 CPU 内存（最优值，见下）
-c 8192 # 测试用 8K，可按需调大
-b 1024 -ub 1024
-fa on
-ctk q4_0 -ctv q4_0
--jinja --reasoning-preserve
-np 1
--threads 44 --threads-batch 44

@David-Chen 没用过gemma，哪天试试，未审核版本吗？

@terry 目前还是在聊天，试过3.8 27B Q4太慢了，thinking开着嫌慢关了不放心，设置成5了还是嫌慢。最近几天没编程任务，等需要的时候可能还是3.8 27B开thinking吧。另外现在大家都在用什么文生图模型啊，我之前玩过stable diffusion秋叶原，不知道现在文生图模型发展到那个程度了。对了，我用MOE主要是把权重全部放内存了，需要的时候CPU搬运激活部分到显存里面去，这样节省出来了10G显存出来,这样可以多挂一个小模型.如果用27B,全部显存就得全部给27B了.

就真的没人嫌3.8 27B太慢吗?我是换回3.6 35B MOE了。另外我突然明白了一个事，个人本地部署显存这玩意是多少都不嫌多啊，主要还是要做好自己的预期管理。

@Jerry-Yu

我擦，京东7799了

@terry 谢回，我X99 AD3

@909 还有2月过保

如果不改，第二张卡不是烫的要死？都改涡轮会不会好点？有没有弄过的大手子说说啊

我6K卖给你？刚好我想换卡 ：）

我在京东上没找到啊，问了客服也说没有啊，大神给个链接呗

唉，不知道怎么搞了