Strata Qwen3.8-flash-next-iq2_xs + AMD RX9070XT 16gb VRAM
-
各位大神大家好,
本來買這張顯卡只是為了打遊戲,後來認識本地AI一直在試Qwen 3.5 27b Q4 等等不同的模型,如果強行用qwen3.8 的量化最後也只能4至5tk/s, 最近認識strata 後,也放上來給大夥看看效果。因為工作關係,所以測試的就是叫Anything LLM 在PDF讀取後製作一個mermaid workflow.
硬件如下:
CPU - AMD Ryzen 9 5950X — 16C / 32T
Motherboard - ASUS TUF Gaming B550M-PLUS
RAM -64 GB DDR4
GPU - AMD Radeon RX 9070 XT 16 GB — Sapphire OC
OS Windows 11
AI stack Strata + AnythingLLM對比之前Qwen 3.8 27b Q4, 4-5 tk/sec, 效果算是很不錯

-