K
我易遇到這個情況，在prompt 前打 "/think none" 就解決了
我的硬件如下
CPU AMD Ryzen 9 5950X
Motherboard ASUS TUF Gaming B550M-PLUS
RAM 64 GB DDR4
Primary GPU AMD Radeon RX 9070 XT 16 GB (Sapphire OC)
Storage Samsung 990 PRO 2 TB NVMe SSD
Operating Systems Windows 11
Strata 用 Qwen3.8-flash-next-iq2
各位大神大家好,
本來買這張顯卡只是為了打遊戲，後來認識本地AI一直在試Qwen 3.5 27b Q4 等等不同的模型，如果強行用qwen3.8 的量化最後也只能4至5tk/s, 最近認識strata 後，也放上來給大夥看看效果。因為工作關係，所以測試的就是叫Anything LLM 在PDF讀取後製作一個mermaid workflow.
硬件如下:
CPU - AMD Ryzen 9 5950X — 16C / 32T
Motherboard - ASUS TUF Gaming B550M-PLUS
RAM -64 GB DDR4
GPU - AMD Radeon RX 9070 XT 16 GB — Sapphire OC
OS Windows 11
AI stack Strata + AnythingLLM
對比之前Qwen 3.8 27b Q4, 4-5 tk/sec, 效果算是很不錯
