折腾了大半个月，我也是2* R9700的拥有者了！

[Bunsei]

@nami-ryuu 说:

@bunsei 你用的是这个https://github.com/magiccodingman/vllm-radiance吗？有啥大的问题吗？

之前的一个周一直在用原版的vLLM，这个今天正在测试呢。

[kos or]

@imbiplaza-ASUS said:

然后跟着我们的指令改变结局。。。。哇。。。未来的世界想到都爽

最近不是有一個論文 可以2秒內生成6秒的視頻,
這種即時視頻技術 是可以做到 一個指令瞬間指改變下一個六秒後的劇情走向/结局

[imbiplaza ASUS]

@kos-or

应该行，我相信行，他就是行

[iamvirus]

我现在双R9700 跑qwen3.8 27b 单卡限制240w 现在C1 decode 160-200tok/s C8能达到最高500tok/s
prefill现在16K 5000+tok/s 128k 4000+ tok/s
总的KVcache 有922k tokens
现在本地玩subagent速度贼快了

[kos or]

@iamvirus said:

现在双R9700 跑qwen3.8 27b 单卡限制240w 现在C1 decode 160-200tok/s

不要誘惑我拆了我的顯卡
用的是llamacpp Q4_K_M嗎？

[nami ryuu]

@iamvirus 你是用哪个框架跑的？这个是我现在的结果。

model	test	t/s	peak t/s	ttfr (ms)	est_ppt (ms)	e2e_ttft (ms)
qwen3.8-27b-vllm	pp2048	5583.15 ± 28.47		462.25 ± 1.87	367.01 ± 1.87	462.25 ± 1.87
qwen3.8-27b-vllm	tg512	89.31 ± 0.54	158.00 ± 8.00
qwen3.8-27b-vllm	pp2048 @ d32768	4064.02 ± 6.25		8662.14 ± 12.93	8566.90 ± 12.93	8664.12 ± 12.93
qwen3.8-27b-vllm	tg512 @ d32768	71.44 ± 4.38	98.50 ± 3.50
qwen3.8-27b-vllm	pp2048 @ d131072	2834.51 ± 3.37		47059.94 ± 55.99	46964.70 ± 55.99	47068.55 ± 56.28
qwen3.8-27b-vllm	tg512 @ d131072	81.19 ± 5.75	155.00 ± 7.00
qwen3.8-27b-vllm	pp2048 @ d196608	2354.26 ± 0.23		84477.25 ± 8.47	84382.01 ± 8.47	84489.27 ± 8.19
qwen3.8-27b-vllm	tg512 @ d196608	92.51 ± 1.40	116.00 ± 2.00

[iamvirus]

MXFP4-W4A8 DFlash K7 你应该懂的。R9700又要涨价了

[nami ryuu]

@iamvirus 我是小白，有能抄作业的地方吗？ 我现在用的是这个：https://github.com/magiccodingman/vllm-radiance

[kos or]

@iamvirus said:

R9700又要涨价了

不要讓Terry知道 就不會漲價

MXFP4 這格式我沒用過, N卡大多用NVFP4, GGUF

[johnnybegood]

@iamvirus 我单卡3090 C1最高跑191 t/s， 我发了帖子，可以查看... ...

[nami ryuu]

@kos-or 现在已经涨了，第一张我收的时候是8500,第二张就要10000. 8500是xfx的，10000是gigabyte，做工好不少，噪音小点儿。

[kos or]

@nami-ryuu said:

第一张我收的时候是8500,第二张就要10000. 8500是xfx的，10000是gigabyte，做工好不少

遊戲顯卡一般來說就是 ASUS 系列最頂,
AI Pro R9700難得Gigabyte 超越了ASUS

[iamvirus]

@nami-ryuu 不是这个 论坛里面就有，https://lcz.me/topic/1529/31 这个里面的

[nami ryuu]

@iamvirus 那就对了，我用的也是这个，以为你有其他的框架，也试一试。哈哈。谢谢！这个让9700升值了。不比双7900xtx差。架构要新。

[paul hou]

我買台幣47500，現在要58200了。

[ikum]

9700涨的好快

[Geekyang]

你这个配置是什么写一下啊，噪音怎么样？

[terry]

只能说恭喜上岸了，显卡崩盘，大船货遍地之前，再也不用研究硬件了。