分享: AMD EPYC 7F52+DDR4 128GB+2x2080TI 22GB: 跑Strata v0.1.43+千问3.8 Flash Next iq3_s
-
都是一些洋垃圾, 只有主板是全新, 服务器是上半年组装, 不算2张2080TI 当时成本大约6,000
服务器:
CPU: AMD EPYC 7F52(16c/32t) ZEN2架构 CPU
主板: Supermicro H12SSL-I
内存: 128GB DDR4 2400(8x16GB) 跑满8ch, 宽带约153GB/s
SSD: Samsung 980 Pro 1TB PCIe 4.0 NVME SSD
GPU: 2x 2080TI 22GB(共44GB VRAM) 有NVLink
电源: 长城 1250wStrata 跑在Proxmox VE 9 的虚拟化环境, 可能有几%的性能损耗
Strata配置:
Guest OS: Rocky Linux 10
Nvidia Driver: 615.71.09
CUDA: 13.4
Context上下文: 200K
KV Cache: INT8
MTP: 4
Prefill: auto:65536性能:
Prefill: 1000-1100 t/s
Decode: 110-60 t/sPrefill 时看到只有单线程在跑, 加上Strata 只跑PCIe 3.0 x16通道, 跟我之前用llama.cpp P2P=on 跑3.8 27B Q6(2300 t/s)比, 数字上几乎慢了1 倍, 但体验上没有感觉变差, 为什么下面有解释
Decode 响应速度极快, 吐字时CPU 32线程全跑满, VRAM Hit Rate 长期>95%, 但在nvidia-smi看 2张2080 TI 只占用 50%
感觉瓶颈在CPU上面, 如果换成32核或者再快些的CPU, Decode表现更好
我主要用途用来跑opencode, 修改公司的软件, 我公司领导也用了一下, 觉得吐字速度开始有云端API的感觉
Qwen 3.8 Flash Next IQ3 精度虽然只有3.5bit, 但用下来感觉比3.8/3.6 27B Q6 智力更好, 体验也更好, 尤其Prefill, Strata只处理不在KV Cache里的上下文
总结: 单兵作战写写代码绝对够用, 跑单Agent 是没问题, 但多Agent 并发暂时不太合适
-
都是一些洋垃圾, 只有主板是全新, 服务器是上半年组装, 不算2张2080TI 当时成本大约6,000
服务器:
CPU: AMD EPYC 7F52(16c/32t) ZEN2架构 CPU
主板: Supermicro H12SSL-I
内存: 128GB DDR4 2400(8x16GB) 跑满8ch, 宽带约153GB/s
SSD: Samsung 980 Pro 1TB PCIe 4.0 NVME SSD
GPU: 2x 2080TI 22GB(共44GB VRAM) 有NVLink
电源: 长城 1250wStrata 跑在Proxmox VE 9 的虚拟化环境, 可能有几%的性能损耗
Strata配置:
Guest OS: Rocky Linux 10
Nvidia Driver: 615.71.09
CUDA: 13.4
Context上下文: 200K
KV Cache: INT8
MTP: 4
Prefill: auto:65536性能:
Prefill: 1000-1100 t/s
Decode: 110-60 t/sPrefill 时看到只有单线程在跑, 加上Strata 只跑PCIe 3.0 x16通道, 跟我之前用llama.cpp P2P=on 跑3.8 27B Q6(2300 t/s)比, 数字上几乎慢了1 倍, 但体验上没有感觉变差, 为什么下面有解释
Decode 响应速度极快, 吐字时CPU 32线程全跑满, VRAM Hit Rate 长期>95%, 但在nvidia-smi看 2张2080 TI 只占用 50%
感觉瓶颈在CPU上面, 如果换成32核或者再快些的CPU, Decode表现更好
我主要用途用来跑opencode, 修改公司的软件, 我公司领导也用了一下, 觉得吐字速度开始有云端API的感觉
Qwen 3.8 Flash Next IQ3 精度虽然只有3.5bit, 但用下来感觉比3.8/3.6 27B Q6 智力更好, 体验也更好, 尤其Prefill, Strata只处理不在KV Cache里的上下文
总结: 单兵作战写写代码绝对够用, 跑单Agent 是没问题, 但多Agent 并发暂时不太合适
