买了2张5060Ti，谁能跑最便宜的Qwen 27B？

[comeN]

NVFP4号称不是无损，但损失小到感知不到，几乎等同于FP16，这可比Q4强不少。

[AresROC]

@kos-or 上面试的都是MTP=3。目前在研究FP4 & 升级CUDA 13.2，13.3。

[kos or]

我用的是llama.cpp + Ubuntu + 2 x RTX5070 Ti in PP 來跑同樣一個模型, 最佳MTP draft-n 設定居然會不同 有趣了

[AresROC]

电脑现在运行的是 Strata RTX5060Ti x2 ——CPU 没有 AVX-512 指令集，所以速度慢一些，但仍然不错，能达到 60~75 tk/s。64GB DDR4.

Model
qwen3.8-flash-next-iq3_s
Engine
v0.1.33
Context
32,768 tokens
KV cache
8-bit, all in VRAM
Experts in VRAM
10,268 (19.4 GB)
Speculation
MTP drafts up to 3 tokens, prompt lookup on
Images
off

[terry]

@AresROC 可以尝试下Strata，就等你补5060TI的作业了。单卡，双卡都来下。

[kos or]

5060 Ti 16G C/P值很高 蠻需要這方面的數據

[AresROC]

https://lcz.me/post/22482

[imbiplaza ASUS]

恭喜终于苦尽甘来。。。。。

[AresROC]

@imbiplaza-ASUS

真的。但其实双卡Qwen3.6\3.8 27B 也是跑得很爽，而且可以同时多发。

[rock shi]

@terry 双2080 22g，共44g，ddr4 32g，qwen3.8 next Flash iq3_s，128k上下文，大约53t/s
整机价格6500左右，现在应该贵1000块了