折腾了大半个月，我也是2* R9700的拥有者了！

[Bunsei]

如题！

接前文

京东租的显卡好像不是京东官方的，是第三方合作的服务，最后是通过支付宝打款回收 ，不过沟通蛮愉快的，从寄出去显卡到收到打款大概是5天。

[番茄胡萝卜]

我们先表面迎合一下他，羡慕，羡慕

其实我真的很羡慕

[Bunsei]

@番茄胡萝卜 说:

我们先表面迎合一下他，羡慕，羡慕

其实我真的很羡慕

略

[kos or]

有些男人愛車
有些男人愛...你懂得

色調很搭 很漂亮

[Bunsei]

@kos-or 说:

有些男人愛車
有些男人愛...你懂得

色調很搭 很漂亮

显卡这东西就跟蟑螂一样，当你的机箱里出现了第一张显卡用作推理的时候，很快你的机箱里就会插满显卡

[imbiplaza ASUS]

羡慕。。。。显卡现在就像男人的相机

[kos or]

@Bunsei said:

当你的机箱里出现了第一张显卡用作推理的时候，很快你的机箱里就会插满显卡

我的第一張卡 是實驗過後得到需求而購買的,
然後繼續實驗探索大約30天, 因為需求 購買第二張卡

你更是細心 還特別去租了一張卡來確認performance表現 才購買第二張

[kos or]

@imbiplaza-ASUS said:

显卡现在就像男人的相机

外掛ComfyUI 變成電視機 MoD - Movie on Demand !

[张光璞]

双9700 跑起来咋样？ 老哥

[imbiplaza ASUS]

@kos-or

然后跟着我们的指令改变结局。。。。哇。。。未来的世界想到都爽

[Bunsei]

@张光璞 说:

双9700 跑起来咋样？ 老哥

很舒服，能跑vLLM了 大概160k+ 也有1000多的预填充速度， 我正在折腾那个针对1201特别优化的vLLM， 听说那个效果更明显。

[nami ryuu]

@bunsei 你用的是这个https://github.com/magiccodingman/vllm-radiance吗？有啥大的问题吗？

[Bunsei]

@nami-ryuu 说:

@bunsei 你用的是这个https://github.com/magiccodingman/vllm-radiance吗？有啥大的问题吗？

之前的一个周一直在用原版的vLLM，这个今天正在测试呢。

[kos or]

@imbiplaza-ASUS said:

然后跟着我们的指令改变结局。。。。哇。。。未来的世界想到都爽

最近不是有一個論文 可以2秒內生成6秒的視頻,
這種即時視頻技術 是可以做到 一個指令瞬間指改變下一個六秒後的劇情走向/结局

[imbiplaza ASUS]

@kos-or

应该行，我相信行，他就是行

[iamvirus]

我现在双R9700 跑qwen3.8 27b 单卡限制240w 现在C1 decode 160-200tok/s C8能达到最高500tok/s
prefill现在16K 5000+tok/s 128k 4000+ tok/s
总的KVcache 有922k tokens
现在本地玩subagent速度贼快了

[kos or]

@iamvirus said:

现在双R9700 跑qwen3.8 27b 单卡限制240w 现在C1 decode 160-200tok/s

不要誘惑我拆了我的顯卡
用的是llamacpp Q4_K_M嗎？

[nami ryuu]

@iamvirus 你是用哪个框架跑的？这个是我现在的结果。

model	test	t/s	peak t/s	ttfr (ms)	est_ppt (ms)	e2e_ttft (ms)
qwen3.8-27b-vllm	pp2048	5583.15 ± 28.47		462.25 ± 1.87	367.01 ± 1.87	462.25 ± 1.87
qwen3.8-27b-vllm	tg512	89.31 ± 0.54	158.00 ± 8.00
qwen3.8-27b-vllm	pp2048 @ d32768	4064.02 ± 6.25		8662.14 ± 12.93	8566.90 ± 12.93	8664.12 ± 12.93
qwen3.8-27b-vllm	tg512 @ d32768	71.44 ± 4.38	98.50 ± 3.50
qwen3.8-27b-vllm	pp2048 @ d131072	2834.51 ± 3.37		47059.94 ± 55.99	46964.70 ± 55.99	47068.55 ± 56.28
qwen3.8-27b-vllm	tg512 @ d131072	81.19 ± 5.75	155.00 ± 7.00
qwen3.8-27b-vllm	pp2048 @ d196608	2354.26 ± 0.23		84477.25 ± 8.47	84382.01 ± 8.47	84489.27 ± 8.19
qwen3.8-27b-vllm	tg512 @ d196608	92.51 ± 1.40	116.00 ± 2.00

[iamvirus]

MXFP4-W4A8 DFlash K7 你应该懂的。R9700又要涨价了

[nami ryuu]

@iamvirus 我是小白，有能抄作业的地方吗？ 我现在用的是这个：https://github.com/magiccodingman/vllm-radiance