@kos-or
我剛剛看了一下,Capyflash 推理引擎 比較依賴高階CPU,我的是舊的CPU提升不大,反而容易卡在CPU降速,Capyflash 推理引擎 在Windows 版尚未成熟。
STRATA可以學這個參數,多一點點專家在VRAM中
"--mtp",
"D:\Strata\Strata-data\mtp\rt",
"--mtp-q4", <---加這個
"all", <---加這個
Experts in VRAM (8,742 · 19.7 GB)
昨天考試 模型,最好是QFN-IQ3_S 我改回用幾天看看
NVFP4,還沒真正玩過,要測測試~~