3090 也能跑到 71 tok/s:NInfer 移植到 SM86 了

[terry]

跑LLama.cpp，单卡，还是用xtx更好，3090双卡TP SGLang更合适。

[johnnybegood]

@terry https://lcz.me/topic/1656 看了我这个新帖，还说XTX更好么？ 我用3090跑到191 tok/s 了。

[terry]

@johnnybegood 你单卡又不能多开，decode再快，体验差距并不大。A卡跑llama.cpp在Vulkan下体验是很好的，这是我实测。况且单卡的话，3090是旧卡，硬件问题风险就很大。所以单卡肯定买XTX，双卡就买3090，但是要自己面对硬件风险。光噪音一项，3090就下马了。

[johnnybegood]

@terry 哈哈， 那我幸亏落在了你说的“双卡就3090”的范围。我第二张买的就是三风扇静音版了， 第一张是涡轮，真的吵得要命，花了500改一样的风扇了，现在在机箱里看着还挺好看。 间距虽然小了点， 但是平时双卡待机 37度， 满载长程最高76-78度， 噪音最高55分贝以下（自己买的分贝仪测的），非常满意。

[terry]

@johnnybegood 折腾下NVLink呢，体验不是更好，关键你现在都是风扇版本，落地了。

[yangkang5303]

已经通过打补丁在3080上跑了70t/s 70k ctx（看我的帖子）。RotorQuant rk8v4 KV 模式解决之后，可以进一步增大上下文。

[johnnybegood]

@yangkang5303 这个帖子已经老了， 我另一个帖子 3090已经跑到 191tok/s 了 。。。。

[Qq Qw]

請問一下哪一個帖子呢?

[johnnybegood]

@Qq-Qw 你点击我的用户名， 然后左边找“主题”， 就能看到我发的帖子。 https://lcz.me/topic/1656/13

[joker_chang]

好神奇，3090也可以跑nvfp4

[joker_chang]

我看了run-qwen38-c1.bat的内容，“--max-context 65536 --kv-capacity 65536”这个上下文长度貌似对于Hermes和DSH来说不够用

还是那句话，能用和好用不是一个概念。

当然，楼主的双3090开128K甚至256K上下文应该是没有问题的。
对于我单3090貌似用处不大~