【直播】二次开发R9700单卡用SGLang跑Qwen3.8-27B成功！ TTFT0.9s/PP2000/TG100tps(代码)！体验丝滑

[fcme]

@张光璞
是啊，这是趋势，AI利好小众硬件。
现在Mac能到啥速度了？求赐教

[张光璞]

@fcme 说:

@张光璞
是啊，这是趋势，AI利好小众硬件。
现在Mac能到啥速度了？求赐教

B站有个哥们跑Qwen flash 能到80T/s

https://www.bilibili.com/video/BV1ZjHi6XEc4/?spm_id_from=333.1387.homepage.video_card.click&vd_source=c7fdfb9d4943df340439e35e09bbaa4e

[fcme]

@张光璞
哦，那使用体验也相当不错了，只不过相比价格，性价比不高。如果看中体积的话，那就没办法了，只有迈克。
我的5070ti现在跑起来应该是在一千四五的pp速度，然后生成是在55~60的样子。

[terry]

装备秀需要你去装逼。

[张光璞]

@fcme 说:

@张光璞
哦，那使用体验也相当不错了，只不过相比价格，性价比不高。如果看中体积的话，那就没办法了，只有迈克。
我的5070ti现在跑起来应该是在一千四五的pp速度，然后生成是在55~60的样子。

MAC 的并发估计也好不到哪去，适合一个人慢慢干长活。

小团队还是多显卡，或DGX 集群

[fcme]

@张光璞
是啊，迈克基本上都是解决能不能跑的问题，跑起来能不能用就另说了。

[Charly Cheng]

@fcme 说:

@terry
会的，弄好了我也git一下，回馈社群！

看你的帖子,我讓27B部署不起來。天天來看下,等你等你發帖。

[fcme]

@Charly-Cheng
啊，你还等着呢，不好意思，我把这事给忘了，这两天太忙。 我晚上就翻

[paul hou]

現在都是用QFN了，QFN = D80，P2500 ，27B = D105，P3500，這點效能差距還是能接受的。

[fcme]

@paul-hou
这个是用什么框架跑出来的？是用r9700吗？

[paul hou]

@fcme

我寫反了，就是VLLM和STRATA而已，都是單片R9700。

[applejuice]

@paul-hou 说:

@fcme

我寫反了，就是VLLM和STRATA而已，都是單片R9700。

xxs？ 还是s？
你的prefill 是我的2.5倍

[paul hou]

@applejuice
IQ3_XXS，IQ3_S我的RAM太少，我只有32G，我是把整個N-GARM都放在SSD才能跑IQ3_XXS，PP的速度有個地方要優化

AI查詢做過的優化，27XX就是個峰值，幾乎都保持在249X~251X之間。
DECODE 50~130之間，DSH上的均值是80左右。

已啟用的 prefill 優化（iq3_xxs 與 swift-iq3_xxs 兩個 config 的 env 區塊一致）

• STRATA_HIPBLASLT_TUNING → tools/hip/gfx1201-hipblaslt-100200.txt（34 行 = 32 個 geometry 標頭）— log 實際確認 hipBLASLt tuning enabled (32 rows, gfx1201, version 100200)
• STRATA_HIP_WMMA=1 — log 確認 prompt attention on matrix cores on (gfx1201)
• STRATA_PREFILL_MMQ=1 — prompt experts 走矩陣核心
• STRATA_SELECT_WMMA=1 — prefill-only 路徑選擇（+1.5%）
• STRATA_PF_FUSED=1 — log 確認 prompt experts on the fused int8 kernels (STRATA_PF_FUSED=1, #136)
• STRATA_IO_THREADS=32 — expert 讀取並行
• STRATA_GFX12_CHUNK=0 — 關掉 0.1.43 的 16384 chunk 預設（避免釘住 RAM 導致 OOM）
• engine 0.1.43.1，--prefill auto、--kv int8、--kv-resident 32768、--resident-experts（mlock 被拒，pageable fallback 正常）

未啟用（刻意避開）：STRATA_PREFILL_RING=96（A/B 較慢）、STRATA_SH_STREAM、STRATA_STAGE_PIN、STRATA_GDN_CHUNKED（此卡無收益）。

上次實測的冷啟動 prefill 吞吐（serial、無緩存）：59.6K tokens → 2,728.8 / 2,758.5 tok/s，比 skill 記錄的 96.6K→1616 參考值高很多（fused 核心 + tuning 表的效果）。decode 約 67-86 tok/s，drafts 接受率 ~80-90%（893/1163 這筆偏低，屬正常波動）

[applejuice]

看了都想把3090 卖掉

[fcme]

@Charly-Cheng
感谢捧场，看我的签名档吧，已经发布了，希望你可以顺利复现。

[paul hou]

@fcme
感謝分享，裝來試試看。

[alan.lgv60]

@fcme 终于等到了! 所以现在楼主会选SGLANG还是paiton当主力？

[fcme]

@alan.lgv60
Paiton, 因为我用了一段我的那个方案,那个响应确实是快，但是跑起长一点的任务来讲，还是整体上要慢一些。等有人做出像paiton的这么牛逼的kernal以后再移植过去的话，就可以全面超越原版Paiton并秒杀毛坯SGlang了。

[alan.lgv60]

@fcme 那我要等抄作业!
但老实说，现时的 Paiton 已经很好了。

[fcme]

@alan.lgv60
对，我现在是R9700跑27B，5070ti配合大内存跑flash next 也能到2100/80左右，其实个人使用也够了。
后续换工作了使用强度高了就搞双卡R9700，顶到8000/215就爽歪歪了。