抡锤者

minimax M3 真的是一言难尽，这个是为一个买了订阅而不用的模型

我也一直在关注这个项目，最近A 卡的也都支持了， 都在考虑是否有必要把 ram 括到256g 了

35b a3b ，量大管饱

--ple-io direct 如果内存不够的花，推荐 --ple-io 设置 mmap，可以解决20-30g 内存

@kenshin 可以呀， 60-70 token/s 已经非常可用了，这个模型智商现在，做执行子agent 能完成的很好

@Hackner-Weinland 可以适当降低GPU 的电压，我之前比较激进，降了60mv ，但是开机1个月以后，死机了一次， 就改成了 现在的 -20mv，目前开机一个月还没有问题，没关机，一直跑

@J-Z-0 你这个ssd ，怎么会速度这么低呢？ 我这边ngram 冷专家 ，也就5M/s 到 1M/s 在波动，应该一般ssd 都能正常才对。

@kenshin 对的， GSQ 的IQ3_S

@exllm 峰值是100+ ， 平时还是在80左右。

@J-Z-0 嗯，我在那边恢复你了，你 --ple-io ram 这个设置错了， 要设置 --ple-io mmap

@J-Z-0 说:

--ple-io ram

--ple-io ram 这个改成 mmap ， 你这个是把ngram 全部用内存加载了， QFN 的ngram 的原始权重有51G ， 如果是IQ3 的话也有 20多G ， 这是写冷专家，用的比较少，官方的建议是放ssd ， --ple-io mmap ， 这个是按需调用， 依然是ssd ， --ple-io ram ，这个是直接放ram ，所以你的 内存上升的比较快， --ple-io ram 如果内存充裕可以放， 可以减少 token 输出的抖动。

流量跑的有点凶，这个10月份 已经跑了1.5t 的流量了，下不同量化的QFN 太费了。

@Hackner-Weinland 最高2000左右，单卡

@909 3个8 PIN 线就是你看到的，下面一个PCIE 延长线连起来就好了呀

@coin1860 https://lcz.me/topic/2317 这个帖子有详细参数信息，
唯一改了的就是 这个参数 --ple-io mmap，模型用的Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-proj

@J-Z-0 https://lcz.me/topic/2317/33 ， 这个是我设备的硬件，我想的是之前贴了，这里就不贴了，EYPC 的平台， 参数这里都有， 唯一改了的就是 这个参数 --ple-io mmap

图上的是真实生产跑的速度 能到100， 测试跑的矩阵 的速度是这样的：
已测的是 2K、16K、64K、128K、220K 输入，每档分别测单路和双路，输出上限 1024 token。下面是已完成格的实测速度；双路数字是“每路”，不是相加后的吞吐：

2K：单路 Decode 109.4 tok/s；双路各 109.7、114.1 tok/s；整批约 16 秒。
16K：单路 104.3；双路各 104.6、103.1 tok/s；整批约 26 秒。
64K：单路 97.9；双路各 96.2、96.8 tok/s；整批约 72 秒。
128K：单路 94.1；双路各 94.7、94.4 tok/s；整批约 138 秒。
220K：单路 90.3 tok/s，Prefill 约 226 秒，整次约 238 秒；
测试容器是 ROCm 10.1.0 + Strata 0.1.44.1、双单卡 replicas

@kos-or 之前单卡70token/s ， tp2 可以上100，现在还没试过，估计可以到150token/s? 哈哈哈

@kos-or 刚升级的，现在要么单卡跑， 要么用 replies 来跑 双卡，简直不要太爽，也有到200token/s 的时候，哈哈哈

如图：

刚升级了最新的 rom 10.1 ，strata 版本 v0.1.44 , 一起升级的，这是什么奇妙的化学反应！！！