R9700 單/雙卡有抄magiccodingman/vllm-radiance 作業的同學看一下

[paul hou]

@terry
我只有單卡喔，目前論壇中的雙卡數據就是十分接近*2。
以PREFILL的感覺來說，線上DSV4F或LUNA之類的FLASH模型大約快了3倍，雙卡算起來還是比不上但很接近了。
DECODE來說，差不了多少，線上都是時快時慢的，雙卡應該跟飛的一樣。

這是今天是EFR32BG22 MCU的工作，設定GPIO，設定BEACON的格式，讀取MCU內部電壓，設定各種狀況的廣播方式和IO動作，省電設定，一個會話9輪做好，上下文262144 壓縮了2次，一次壓縮的時間是55秒，只有IO中斷有問題重新修改了一次就完成任務。
目前用起來確實是Launch80/Qwen3.8-27B-PARO-MXFP4在較長的上下文沒這麼笨，之前用AMD的模型大多要修改個3-5次才能完工。

關於緩存命中，vllm的數值是平均值，llama.cpp常常在99%，算起來不該這麼高，猜測是當次載入的命中率。

[paul hou]

https://www.reddit.com/r/ROCm/comments/1wix8sq/amd_radeon_1xr9700_153_toks_decode_prefill_3619/?solution=5046190dd2b0af065046190dd2b0af06&js_challenge=1&jsc_token=7afd7253fec22262ff1c52b1703fe9eccbc0da34dda07321e707e977a9f17200&jsc_orig_r=&share_id=swyH6oVedGYDwH6c5bAoX&utm_content=2&utm_medium=android_app&utm_name=androidcss&utm_source=share&utm_term=18

正主版本又有更新了，這次主要針對單R9700進行效能升級，DECODE看起來是效能上漲了80%，晚上裝來試試看。

[paul hou]

新的FORK方案
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main

昨天晚上有小試了一下，https://github.com/GGZ14/vllm-mxfp4 版本
簡單的MCU OTA APP，讓DSH分析程式和檢查BUG。
之前版本TOKEN的平均值大概在55-60TOKEN左右，新版提升到88TOKEN。
過程中大多維持在10X TOKEN，最後的分析說明很長一大堆，就降到了88 TOKEN。

DSH的新會話按下送出到開始思考的第一行出現，目測大概比前一版快了1秒左右。

[张光璞]

@paul-hou 说:

新的FORK方案
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main

昨天晚上有小試了一下，https://github.com/GGZ14/vllm-mxfp4 版本
簡單的MCU OTA APP，讓DSH分析程式和檢查BUG。
之前版本TOKEN的平均值大概在55-60TOKEN左右，新版提升到88TOKEN。
過程中大多維持在10X TOKEN，最後的分析說明很長一大堆，就降到了88 TOKEN。

DSH的新會話按下送出到開始思考的第一行出現，目測大概比前一版快了1秒左右。

民间最终也是走了梁圣的路线，不断的调优一次次探索和突破硬件极限边界

[Magic629]

@paul-hou 持续运行任务，半小时后的token输出速度每秒有多少？谢谢。

[Magic629]

@paul-hou 持续运行任务，半小时后的token输出速度每秒有多少？谢谢。

[paul hou]

@Magic629

最近二天裝的新版本還沒試
之前的版本大概跑一個工作大概輸入30M的TOKEN，平均的DECODE會落在55~60之間。

新版本目前測試是快了20多%。

我所謂的舊版=> https://github.com/GGZ14/vllm-mxfp4
新版=> https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main

一個是原始發佈，一個是FORK，新舊是我安裝的順序而言。

[Magic629]

@paul-hou 好的，谢谢。

[paul hou]

@Magic629
版本是
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main
模型：unsloth/Qwen3.8-27B-NVFP4
DHS上 /plan + 執行
整體是29分鐘多

[Magic629]

@paul-hou 谢谢，我的token输出在40，我看了下，不带视觉看图功能吗？本来想试试的，但是我需要视觉功能啊。

[paul hou]

如果是nvfp4的方案，有視覺的上下文160k應該會有，mxfp4的話可以到200k這個我有在用。

[tmp tmp]

此主題已被删除！

[tmp tmp]

tmp-tmp 说:

@paul-hou 刚刚看了某东，技嘉16500,讯景14000,盈通13000了。完全风了。
这下，你说的正主要负主责，你要负次责。

[Magic629]

怪我太菜，折腾一晚上以上方案就一个成功的，但是效果还是不理想。
就这个成了：https://github.com/Eliovp-BV/paiton-vllm-plugin/blob/main/models/Qwen3.8-MXFP4-DFlash2/README.md
感觉跟社区版的没啥区别，最主要稳定性不行。也可能是我操作失误

[张光璞]

@paul-hou 说:

@Magic629
版本是
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main
模型：unsloth/Qwen3.8-27B-NVFP4
DHS上 /plan + 執行
整體是29分鐘多

我发现这个版本会有幻觉。昨天处理一个长任务 ，就一直循环住了。

[paul hou]

@tmp-tmp
這鍋我不背，這鍋錘哥的

@张光璞
我覺得他太難的任務+XHIGH會瘋狂的鬼打牆，有查他內建Chat-Templates，非原廠，應該有小改，但看來是不太行。
我換froggeric/Qwen-Fixed-Chat-Templates來試試。

剛發現這方案又有小更新，目前看來GGZ14的要保留好，其他的就試試。

[paul hou]

@张光璞

改成froggeric/Qwen-Fixed-Chat-Templates有救。
思考強度設成MEDIUM或LOW就好。

[张光璞]

@paul-hou 说:

@张光璞

改成froggeric/Qwen-Fixed-Chat-Templates有救。
思考強度設成MEDIUM或LOW就好。

我有空了试试，今天帮我开发一个雷达的程序 ，已经降智到半弱智阶段了

[paul hou]

@张光璞

看了一下，確實還滿多人嫌棄NVFP4版的。

[张光璞]

@paul-hou 说:

@张光璞

看了一下，確實還滿多人嫌棄NVFP4版的。

下午临下班打的补充，晚上只跑了一次就把一下午都幻觉的问题搞定了

明天烧到板子里看看效果。 我看最终还是要双卡跑个高精度的 27b 来做主力工作机。 30t的速度有点影响开发效率 。