买了2张5060Ti，谁能跑最便宜的Qwen 27B？

[kos or]

MTP 版本需要設一個參數 Draft tokens (num_speculative_tokens or spec-draft-n-max): AI 幫我測試過 最後1 或 2 是最快的參數, 你也是設定1 或 2 嗎？2 速度只比1 快了3 tokens /s 但是它有一個"準確度" 降了很多(浪費算力) 我跟AI都認同Qwen3.6-27B-MTP-GGUF 最後選擇1 是最佳MTP參數

[kos or]

@comeN 不知道還有這個版本 我請AI幫我測試一下 Qwen3.6-27B-NVFP4-MTP (目前狀態：一早起來Deepseek V4 Flash 給我下載一個 90GB的TesnorRT-LLM, 現在又說這太大了 要刪除 幫我安裝一個20GB版本的TensorRT來跑測試 哈哈 暈了)

[comeN]

NVFP4号称不是无损，但损失小到感知不到，几乎等同于FP16，这可比Q4强不少。

[AresROC]

@kos-or 上面试的都是MTP=3。目前在研究FP4 & 升级CUDA 13.2，13.3。

[kos or]

我用的是llama.cpp + Ubuntu + 2 x RTX5070 Ti in PP 來跑同樣一個模型, 最佳MTP draft-n 設定居然會不同 有趣了

[AresROC]

电脑现在运行的是 Strata RTX5060Ti x2 ——CPU 没有 AVX-512 指令集，所以速度慢一些，但仍然不错，能达到 60~75 tk/s。64GB DDR4.

Model
qwen3.8-flash-next-iq3_s
Engine
v0.1.33
Context
32,768 tokens
KV cache
8-bit, all in VRAM
Experts in VRAM
10,268 (19.4 GB)
Speculation
MTP drafts up to 3 tokens, prompt lookup on
Images
off

[terry]

@AresROC 可以尝试下Strata，就等你补5060TI的作业了。单卡，双卡都来下。

[kos or]

5060 Ti 16G C/P值很高 蠻需要這方面的數據

[AresROC]

https://lcz.me/post/22482

[imbiplaza ASUS]

恭喜终于苦尽甘来。。。。。

[AresROC]

@imbiplaza-ASUS

真的。但其实双卡Qwen3.6\3.8 27B 也是跑得很爽，而且可以同时多发。

[rock shi]

@terry 双2080 22g，共44g，ddr4 32g，qwen3.8 next Flash iq3_s，128k上下文，大约53t/s
整机价格6500左右，现在应该贵1000块了