抡锤者

GEMINI網頁版一本正經的胡說八道，指正他又馬屁不斷，再繼續胡說八道，會是誰的SOUL？

@applejuice 说:

@he-wanga strata 还有版本没更新 据作者x 发表也是恐怖的存在 我猜可能跑tp 了 对我们这些普通用户 越多选择越好 话说我跑了单卡 r9700 qwen3.8 27b 结果 跟我现在用的差不多 双卡6000 prefill 的确吸引人

效能跟sly-radiance差不多，但這個啟動速度跟llama.cpp差不多，sly調整也是要大約2分鐘。

@Bunsei 说:

是的，通用的哪有专门的香，本地模型的能力已經配得專門的顯卡、专门的推理引擎優化！

還能在這引擎上掛qwen image 2.1 ，minimax h3，minimax music3，感覺很厲害。

StillDeadcode/radiance 已經是另外的玩法了嗎，不用VLLM了？

@applejuice 说:
@paul-hou 220k 是不是纯文字？

把vision放在cpu上運算了，沒佔vram。
sly也是一樣放cpu，所以可以有接近500k的上下文可用。

我也試了sly的kv4，比paiton的3bit+kv4更容易出現無限思考。
試過這麼多版後，sly的mxfp fp8是速度和品質比較好的版本，上下文還可以有 262144 * 1.6的數量，二併發是沒問題的。
paiton的缺點是上下文短了點，是限在220000而已，自己頂多調整到230400左右。

@applejuice
這版沒裝過，感謝分享，裝來試試看。

@applejuice
是這個嗎？
https://github.com/magiccodingman/vllm-radiance
這個專注在TP=2，所以就沒怎麼關注他了。

PAITON VLLM 的 27B用起來反應確實超快，不是STRATA能比的。
不過目前作者也不搞27B了，3BIT + KV4的質量只差MXFP4一點點，可併發又高速，優化應該是個極限了。
作者現在也都在搞QFN了。
應該要期待QWEN4 27B，PAITON VLLM是不是能有一樣的優化。

@fcme
感謝分享，裝來試試看。

@applejuice
IQ3_XXS，IQ3_S我的RAM太少，我只有32G，我是把整個N-GARM都放在SSD才能跑IQ3_XXS，PP的速度有個地方要優化

AI查詢做過的優化，27XX就是個峰值，幾乎都保持在249X~251X之間。
DECODE 50~130之間，DSH上的均值是80左右。

已啟用的 prefill 優化（iq3_xxs 與 swift-iq3_xxs 兩個 config 的 env 區塊一致）

• STRATA_HIPBLASLT_TUNING → tools/hip/gfx1201-hipblaslt-100200.txt（34 行 = 32 個 geometry 標頭）— log 實際確認 hipBLASLt tuning enabled (32 rows, gfx1201, version 100200)
• STRATA_HIP_WMMA=1 — log 確認 prompt attention on matrix cores on (gfx1201)
• STRATA_PREFILL_MMQ=1 — prompt experts 走矩陣核心
• STRATA_SELECT_WMMA=1 — prefill-only 路徑選擇（+1.5%）
• STRATA_PF_FUSED=1 — log 確認 prompt experts on the fused int8 kernels (STRATA_PF_FUSED=1, #136)
• STRATA_IO_THREADS=32 — expert 讀取並行
• STRATA_GFX12_CHUNK=0 — 關掉 0.1.43 的 16384 chunk 預設（避免釘住 RAM 導致 OOM）
• engine 0.1.43.1，--prefill auto、--kv int8、--kv-resident 32768、--resident-experts（mlock 被拒，pageable fallback 正常）

未啟用（刻意避開）：STRATA_PREFILL_RING=96（A/B 較慢）、STRATA_SH_STREAM、STRATA_STAGE_PIN、STRATA_GDN_CHUNKED（此卡無收益）。

上次實測的冷啟動 prefill 吞吐（serial、無緩存）：59.6K tokens → 2,728.8 / 2,758.5 tok/s，比 skill 記錄的 96.6K→1616 參考值高很多（fused 核心 + tuning 表的效果）。decode 約 67-86 tok/s，drafts 接受率 ~80-90%（893/1163 這筆偏低，屬正常波動）

@fcme

我寫反了，就是VLLM和STRATA而已，都是單片R9700。

現在都是用QFN了，QFN = D80，P2500 ，27B = D105，P3500，這點效能差距還是能接受的。

STRATA又又又又更新了，R9700 + 32G DDR4 ，DECODE能經常性看到110~125ts

@艷陽天
SSD，幾乎都是讀取的話，壽命不會掉多少。HDD的話也不適合當N-GRAM用，SEEKTIME太久了。

@kos-or

新版有CUDA的優化，還是更新一下吧。

@imbiplaza-ASUS
淘寶才有3-4倍，台灣店面都是6倍起跳了。

v0.1.43，R9700是PREFILL提升到2500左右

@Kuo-Ke-Hung
看來還是要等paiton出200k以上的版本了。

我只有32g ddr4 還是勉強跑起來了。