<![CDATA[Basalt專武N卡50系列引擎 Qwen3.8-Flash-Next on NVIDIA Blackwell]]>Strata 簡直是引領風潮
後面一堆新花樣都出來了
Basalt 這支援 NVIDIA Blackwell 架構
https://github.com/jesdga95/basalt
上面的測試報告如下
image.jpeg

然後我自己照做的效率如下(QFN nvfp4 , 5090x2 , 64G RAM)
image.jpeg
image.jpeg

大致上是對的上的

目前這些模型的短板都是多功不大行（不像是稠密模型多併發會有總輸出增加的紅利）

適合單輸出玩家

]]>https://lcz.me/topic/2763RSS for NodeMon, 09 Nov 2026 09:24:40 GMTSun, 01 Nov 2026 06:32:24 GMT60<![CDATA[Reply to Basalt專武N卡50系列引擎 Qwen3.8-Flash-Next on NVIDIA Blackwell on Mon, 02 Nov 2026 09:11:28 GMT]]>吞吐太可怕了....
但其實高併發噴不上去 這不是模型的問題 我用gufo跑qfn一樣四路可以噴到2.5倍
是strata推論框架的問題，沒辦法 他要搞好異構運算與冷熱交換 高併發是被犧牲的
所以我一直認為不要砸太多錢在strata上~ 夠跑就好

]]>https://lcz.me/post/30521https://lcz.me/post/30521Mon, 02 Nov 2026 09:11:28 GMT<![CDATA[Reply to Basalt專武N卡50系列引擎 Qwen3.8-Flash-Next on NVIDIA Blackwell on Mon, 02 Nov 2026 08:30:30 GMT]]>确实厉害，5090直接起飞

]]>https://lcz.me/post/30514https://lcz.me/post/30514Mon, 02 Nov 2026 08:30:30 GMT<![CDATA[Reply to Basalt專武N卡50系列引擎 Qwen3.8-Flash-Next on NVIDIA Blackwell on Mon, 02 Nov 2026 08:04:16 GMT]]>谁可以试一下使用双卡5060ti或5070ti跑跑这框架

]]>https://lcz.me/post/30512https://lcz.me/post/30512Mon, 02 Nov 2026 08:04:16 GMT<![CDATA[Reply to Basalt專武N卡50系列引擎 Qwen3.8-Flash-Next on NVIDIA Blackwell on Mon, 02 Nov 2026 02:18:45 GMT]]>感謝大大分享
好多推理引擎 我都快記不得誰跟誰了
目前只記得 llama.cpp, SGLang, vLLM, Strata 現在多了一個Basalt (玄武岩)

看來多併發方面, 稠密模型 27B 還是有它的優勢在

這Basalt 用來作單發專案Coding, 看來效率會很驚人

]]>https://lcz.me/post/30432https://lcz.me/post/30432Mon, 02 Nov 2026 02:18:45 GMT