R9700 單/雙卡有抄magiccodingman/vllm-radiance 作業的同學看一下

[张光璞]

@paul-hou 说:

新的FORK方案
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main

昨天晚上有小試了一下，https://github.com/GGZ14/vllm-mxfp4 版本
簡單的MCU OTA APP，讓DSH分析程式和檢查BUG。
之前版本TOKEN的平均值大概在55-60TOKEN左右，新版提升到88TOKEN。
過程中大多維持在10X TOKEN，最後的分析說明很長一大堆，就降到了88 TOKEN。

DSH的新會話按下送出到開始思考的第一行出現，目測大概比前一版快了1秒左右。

民间最终也是走了梁圣的路线，不断的调优一次次探索和突破硬件极限边界

[Magic629]

@paul-hou 持续运行任务，半小时后的token输出速度每秒有多少？谢谢。

[Magic629]

@paul-hou 持续运行任务，半小时后的token输出速度每秒有多少？谢谢。

[paul hou]

@Magic629

最近二天裝的新版本還沒試
之前的版本大概跑一個工作大概輸入30M的TOKEN，平均的DECODE會落在55~60之間。

新版本目前測試是快了20多%。

我所謂的舊版=> https://github.com/GGZ14/vllm-mxfp4
新版=> https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main

一個是原始發佈，一個是FORK，新舊是我安裝的順序而言。

[Magic629]

@paul-hou 好的，谢谢。

[paul hou]

@Magic629
版本是
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main
模型：unsloth/Qwen3.8-27B-NVFP4
DHS上 /plan + 執行
整體是29分鐘多

[Magic629]

@paul-hou 谢谢，我的token输出在40，我看了下，不带视觉看图功能吗？本来想试试的，但是我需要视觉功能啊。

[paul hou]

如果是nvfp4的方案，有視覺的上下文160k應該會有，mxfp4的話可以到200k這個我有在用。

[tmp tmp]

此主題已被删除！

[tmp tmp]

tmp-tmp 说:

@paul-hou 刚刚看了某东，技嘉16500,讯景14000,盈通13000了。完全风了。
这下，你说的正主要负主责，你要负次责。

[Magic629]

怪我太菜，折腾一晚上以上方案就一个成功的，但是效果还是不理想。
就这个成了：https://github.com/Eliovp-BV/paiton-vllm-plugin/blob/main/models/Qwen3.8-MXFP4-DFlash2/README.md
感觉跟社区版的没啥区别，最主要稳定性不行。也可能是我操作失误

[张光璞]

@paul-hou 说:

@Magic629
版本是
https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main
模型：unsloth/Qwen3.8-27B-NVFP4
DHS上 /plan + 執行
整體是29分鐘多

我发现这个版本会有幻觉。昨天处理一个长任务 ，就一直循环住了。

[paul hou]

@tmp-tmp
這鍋我不背，這鍋錘哥的

@张光璞
我覺得他太難的任務+XHIGH會瘋狂的鬼打牆，有查他內建Chat-Templates，非原廠，應該有小改，但看來是不太行。
我換froggeric/Qwen-Fixed-Chat-Templates來試試。

剛發現這方案又有小更新，目前看來GGZ14的要保留好，其他的就試試。

[paul hou]

@张光璞

改成froggeric/Qwen-Fixed-Chat-Templates有救。
思考強度設成MEDIUM或LOW就好。

[张光璞]

@paul-hou 说:

@张光璞

改成froggeric/Qwen-Fixed-Chat-Templates有救。
思考強度設成MEDIUM或LOW就好。

我有空了试试，今天帮我开发一个雷达的程序 ，已经降智到半弱智阶段了

[paul hou]

@张光璞

看了一下，確實還滿多人嫌棄NVFP4版的。

[张光璞]

@paul-hou 说:

@张光璞

看了一下，確實還滿多人嫌棄NVFP4版的。

下午临下班打的补充，晚上只跑了一次就把一下午都幻觉的问题搞定了

明天烧到板子里看看效果。 我看最终还是要双卡跑个高精度的 27b 来做主力工作机。 30t的速度有点影响开发效率 。