抡锤者

@南亚阿东 你看论坛里就现在很火的Strata；https://github.com/Niko1221/Strata

用qwen flash iq3s挺舒服的

好耶，我最近使用也发现这个模型好像不是卡死，它倒是一直在干活，但是好像也没有快多少完成任务

神一阵鬼一阵的，有时候感觉甚至没有v4的时候好用，感觉那阵有个版本，回答也精炼，还准确

体感上iq3xxs的flash对比q4的27B，似乎对于项目阅读方面还是27B更强，flash看着速度快，但是使用起来处理同一个项目，时间更长，我目前还没让它跑完，不知道最终效果咋样

@Brian 确实好久，怎么感觉比27B还久，虽然27B的速度上更慢一些

好耶，刚好我也是无AVX-512

我查ai好像x570也有支持的，roghero啥的，但其实还是有点贵，而且还需要cpu，我老cpu 2700x已经不行了

@terry 说:

@6cccccc 并不贵，明天来看视频。

那我明天直接冲锋

靠现在xtx太贵了，而且换一个pcie4 ×8的主板也不便宜即使是am4的

B站不是有机智罗，没参考他那个？

我前一阵用过这个https://github.com/lemonade-sdk/llamacpp-rocm ，感觉rocm后端跑的时候prefill有800左右，decode大概40左右，不过我可能还需要再测测

@laobenxiong 确实，用了你这个q5ks的模型，我的速度终于正常了，也不用关thinking，不知道为什么其他人的q5km可以

@懒人烘培 嗯，我一会试试，好像开了后，mtp命中率很低

@exllm 我一会试试

为啥我的启动参数是这样：
-m "$SELECTED_MODEL" -t 10 -b 512 -ub 256
--spec-draft-n-max 3 --fit off --no-context-shift
--metrics --kv-unified --jinja
--cache-type-k q8_0 --cache-type-v q8_0
-fa on --spec-type draft-mtp
--ctx-size 131072 --parallel 1 -ngl -1
--host 0.0.0.0 --port $LLAMA_PORT
--chat-template-kwargs {"enable_thinking": true, "preserve_think": false, "reasoning_effort": "medium"}
--no-mmap --temp 0.6 --top-p 0.5 --top-k 15 --repeat-penalty 1.0
--alias qwen3.8-27b-q5
仍然速度很低，只有12左右
配置如下
cpu： AMD Ryzen 7 2700 Eight-Core Processor (8核16线程, 3.2GHz)
RAM： 64GB DDR4
GPU： AMD Radeon RX 7900 XTX 24GB (RADV NAVI31)
OS： Ubuntu 26.04 LTS (内核 7.0.0-29-generic)
软件 ： llama.cpp Vulkan b10486