雙卡am5主板可以考慮 gigabyte b850 ai top, asrock x870e creator, asus x870e proart,都是原生兩根pcie 5.0 x8。四卡sTR5主板就要上TRX50/WRX90系列了。
Kiner Liu
@Kiner Liu
-
比较流畅的跑Qwen 3.6 27B 模型本地部署,使用AI PRO R9700,主机怎么配置 -
分享自己的經驗 # 7900 XTX 本地 LLM 優化實測報告(Qwen3.6-27B)謝謝樓主分享,我也成功在W7900上面跑Qwen3.6 27b Q4 MTP模型了,也掛了圖形識別模型成功。我用實際路徑的設定成功。輸出速度部分從原本的20t/s有增加到50t/s左右,從速度勉強可接受變成速度感覺順暢。更重要的是我也同時學會用llama.cpp在windows11架server了! 這軟體穩定度比lmstudio更好,模型載入速度超順暢。
@echo off
"D:\llama.cpp\build\bin\llama-server.exe" ^
-m "D:\llama.cpp\Qwen3.6-27B-MTP-Q4_K_M.gguf" ^
--mmproj "D:\llama.cpp\mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf" ^
--device Vulkan0 -ngl 999 -c 262144 ^
--temp 0.4 ^
--no-mmap ^
--api-key "*******" ^
-ctk q4_0 -ctv q4_0 -np 1 ^
--spec-type draft-mtp --spec-draft-n-max 3 ^
--reasoning off -fa 1 ^
--port 8081 --host 0.0.0.0
pause