双TESLA T10 16GB 62T/S极速狂飙，1950X+X399平台实测
-
我看了你的
。这一版建议突出 1950X 老平台、双 T10、256K 上下文、R4 实测中位数 48.60 T/s，以及 R5 单次达到 62.3 T/s。
下面这版可以直接替换原帖，技术参数按截图填写。
1950X + X399M + 双 Tesla T10 16GB，STRATA Q4_K_XL 256K，最新实测 62.3 T/s！
继续折腾我的老古董 Threadripper 1950X 平台！
从最初的 40 多 T/s，一路优化到 R4 自动调优测试的 48.60 T/s 中位数。今天又做了 R5 验证，直接调用 R4 测出来的最优配置，不重新调参、不重新下载模型，最终这轮生成速度跑到了 62.3 T/s！
看来这套老平台还有潜力可以挖。
一、硬件配置
- CPU：AMD Threadripper 1950X，16 核 32 线程
- 主板：华擎 X399M，双 PCIe 3.0 ×16
- GPU：2 × NVIDIA Tesla T10 16GB，总计 32GB 显存
- 内存：4 × 32GB DDR4，128GB 四通道，XMP 3200MHz
- CPU 频率：全核约 3.7GHz
- 系统：Windows，高性能电源模式
- 散热：Dell 5070 SFF 风扇，海盗船风扇集线器调速，满载温度通常低于 50℃
机器还装有 RTX 4070，但本次 STRATA 推理明确排除 4070，只用两张 T10。
二、STRATA 配置
参数 当前设置 模型量化 Q4_K_XL 上下文 256K（262144 tokens） GPU 2 × Tesla T10 GPU Layer Split 26 K 26 Pipeline Windows 2 Adapt Every 1 调优方案 SPEC_2 这次直接使用 R4 自动测试得到的最佳 SPEC_2 JSON，R5 仅负责调用已经验证的配置。
三、最新实测成绩
R4 自动调优结果：48.60 T/s（Median）
R5 本次运行：62.3 T/s（生成 723 tokens）
R5 日志中的关键数据：
- 输入 Prompt：25,820 tokens
- 本轮生成：723 tokens
- 最终报告生成速度：62.3 tok/s
- 专家装载到 RAM：71.73 GiB
- 专家装载速度：3.29 GiB/s
- GPU 专家缓存：3470 个专家，占用 10.11 GiB VRAM
- 本轮专家缓存命中率：73.9%
- GPU 选择：[1, 2]，两张 Tesla T10
生成过程中，终端显示速度由 49.1 T/s 逐步升至 60 T/s 以上，最后报告 62.3 T/s。
需要说明，48.60 T/s 是 R4 调优测试的中位数，62.3 T/s 是 R5 这轮请求的结果，不是说目前已经稳定达到 62.3 T/s。后续还需要继续跑同条件、多轮测试。
四、这几天折腾下来的体会
1. 双 T10 比混搭 4070 更适合我目前的配置。
之前试过把 RTX 4070 也拉进推理，异构 GPU 调度反而拖累了性能。这次只让两张 T10 参与，结果明显更理想。
2. X399 的四通道内存和 PCIe 3.0 ×16 很有价值。
1950X 虽然是老 CPU，但有四通道 DDR4 和充足的 PCIe 通道。对 STRATA 这种需要大量专家从系统内存参与推理的模型来说，这套平台依然有发挥空间。
3. DDR4 3200MHz 值得折腾。
我这套 4×32GB 已经运行在 3200MHz。和以前较低内存频率时的体验相比，表现确实不错。当然具体提升幅度，还需要控制其他参数后才能准确判断。
4. STRATA 参数不是越激进越快。
最近反复测试了 ADAPT、Pipeline 和专家缓存相关设置。单纯改动某一个参数，不一定带来速度提升。现在更倾向于先做批量测试，再固定胜出配置进行验证。
五、总结
这台老 1950X + X399M，配上两张单槽 Tesla T10 16GB，居然还能跑出这样的成绩，确实有点意外。
现在已经有 R4 自动调优的 48.60 T/s 中位数，R5 又出现了 62.3 T/s 的单次成绩。
下一步继续验证长时间生成的稳定速度、专家缓存命中率和不同提示词下的表现。
不追求堆最贵的新显卡，就是想看看低成本老平台到底还能榨出多少性能。
欢迎同样折腾 STRATA、Tesla T10、V100、2080Ti 或 X399/X99 老平台的朋友一起交流实测数据！
-
-
-
-
-
@terry 是的Q4KXL ，经过优化 Q6实测也可以稳定到42-45T/S， Q8内存不够，所以放弃了，DDR4的确也不便宜，还好以前有积累一些。双卡T10也在ASUS X99-A上测试过，CPU是5930K，内存 160GB 6X16GB+2X32 ，频率2666MHZ，速度差很多，Q4 只有40T/S左右，看来X399平台还是不错的.
-
-
