好猛啊最新的推理框架TensorFold DGX小主机都可以起飞了
-
-
-
-
-
我在 DGX 上跑了一下 Qwen3.8 27B 的TensorFold，相比 SGLang 确实能快点，显存占用也降低了，
Prose:SGLang 24.9 vs TensorFold 31.1,快 25%
Thinking:SGLang 22.5 vs TensorFold 31.2,快 39%。速度随生成长度衰减
生成长度 速度
64 tok 54.0 tok/s**
128 tok 44.8 tok/s
256 tok 35.2 tok/s
512 tok 27.9 tok/s
1024 tok 27.2 tok/s
→ 官方标称的 58.3 tok/s 是短生成口径(和启动冒烟 41 tok/0.68s≈60 吻合)。上下文越长,DFlash2 草稿接受率越低,回落至 ~27-31。 -
-
@terry 虾仁猪心 变化太猛了 今天登录一看 世界变天了
@Grayson-Ren 10W2台了已经开始涨价了
-
我在 DGX 上跑了一下 Qwen3.8 27B 的TensorFold，相比 SGLang 确实能快点，显存占用也降低了，
Prose:SGLang 24.9 vs TensorFold 31.1,快 25%
Thinking:SGLang 22.5 vs TensorFold 31.2,快 39%。速度随生成长度衰减
生成长度 速度
64 tok 54.0 tok/s**
128 tok 44.8 tok/s
256 tok 35.2 tok/s
512 tok 27.9 tok/s
1024 tok 27.2 tok/s
→ 官方标称的 58.3 tok/s 是短生成口径(和启动冒烟 41 tok/0.68s≈60 吻合)。上下文越长,DFlash2 草稿接受率越低,回落至 ~27-31。
