@Grayson-Ren
我自己测试了一下--pool-workers参数的问题:
pool-workers decode t/s 相对默认
17(默认) 129.4 基准
15 128.1 -1.0%
13 129.3 -0.1%
11 128.2 -0.9%
9 126.7 -2.1%
7 123.4 -4.6%
长提示词 b15k/b32k(warm):预填充 917 全在 ±3% 内无趋势;解码差异与各轮 MTP 命中率(6282%)强相关,是投机噪声。 多样低命中(~87.5%)pass2 解码均值:17→74.7、11→75.0、9→72.9。
结论:
在11-17 之间解码无差异,≤9 才明显变慢。
默认 17(=18 物理核 −1 + host 线程,正好占满物理核、无 SMT 超订)已是最优/并列最优。你用11的收益更像其特定平台/配置(缓存命中率、内存时序)所致,不一定普遍,其他有兴趣的朋友也可以自己测试对比一下!