Basalt專武N卡50系列引擎 Qwen3.8-Flash-Next on NVIDIA Blackwell

[David Chen]

Strata 簡直是引領風潮
後面一堆新花樣都出來了
Basalt 這支援 NVIDIA Blackwell 架構
https://github.com/jesdga95/basalt
上面的測試報告如下

然後我自己照做的效率如下(QFN nvfp4 , 5090x2 , 64G RAM)

大致上是對的上的

目前這些模型的短板都是多功不大行（不像是稠密模型多併發會有總輸出增加的紅利）

適合單輸出玩家

[kos or]

感謝大大分享
好多推理引擎 我都快記不得誰跟誰了
目前只記得 llama.cpp, SGLang, vLLM, Strata 現在多了一個Basalt (玄武岩)

看來多併發方面, 稠密模型 27B 還是有它的優勢在

這Basalt 用來作單發專案Coding, 看來效率會很驚人

[李野火]

谁可以试一下使用双卡5060ti或5070ti跑跑这框架

[大圣]

确实厉害，5090直接起飞

[dardeaw feng]

吞吐太可怕了....
但其實高併發噴不上去 這不是模型的問題 我用gufo跑qfn一樣四路可以噴到2.5倍
是strata推論框架的問題，沒辦法 他要搞好異構運算與冷熱交換 高併發是被犧牲的
所以我一直認為不要砸太多錢在strata上~ 夠跑就好