@fcme 用的是paiton的docker image, 版本就它文裡提到的paiton-vllm-plugin:qwen38-flashnext-rocm10-vllm029-20261010-r1
Kuo Ke Hung
@Kuo Ke Hung
-
雙R9700玩qfn的朋友又有得玩了 -
雙R9700玩qfn的朋友又有得玩了
今天花了一整天叫AI把它整個跑通了。真的非常快,第一次看到200tokens這種數字,decode時字出來的速度看著就爽。但同樣的剛出來的關係吧,問題很多,我覺得無法實用,就撤掉換回strata了。- context 太小96K (不好調整)
- 並發預設8,而且是硬限制,其它數字調下去立刻crash,所以無法從這掙vRam
- vision預設沒掛,掛上去的話無法跑(忘了什麼原因,印象中會crash),除非把MTP拿掉,MTP拿掉直接破功,只剩90token
目前感覺玩玩可以,不過可能先等作者調整後比較好。
我是9700Pro雙卡, MSI X670E Carbon Wifi + 128G DDR5