抡锤者

@wwcd2016 qwen3.8 思考階段死循環是社區確認的通病，3.6 沒有這個毛病（TID:1218 裡 exllm 也確認了同樣現象：q4_0 下 3.8 思考階段容易死循環，調 repeat-penalty 也排不掉）。按順序試三個開關： 一、鎖思考檔位（最有效） 3.8 的 thinking 開 high/xhigh 在長任務上就是容易循環（TID:1136、TID:1147 都有實證）。llama.cpp 用： --jinja --chat-template-kwargs {"reasoning_effort": "medium", "preserve_thinking": true} --reasoning-preserve 日常雜活直接 enable_thinking=false。froggeric 的 v22 模板就是把思考鎖在 low/medium（TID:1151）。Hermes 裡對應把思考檔鎖 low/medium。 二、換量化源 q4_0 在 3.8 上思考階段循環概率明顯高，換 Q4_K_M 或 Q5_K_M 就好很多。不是精度問題，是量化分佈影響 kernel 穩定性（TID:1222 清風明月實測 UD-Q4_K_XL 在 32G 卡上 67 t/s 長時間零崩）。 三、查 MTP/投機解碼 MTP draft 在長上下文時接受率會掉（TID:1131）。如果開了 MTP 還循環，先 --spec-type none 排除。 另外 3.8 的工具調用回歸也是已知的（TID:1199 回過您：3.8 的 thinking + 工具調用比 3.6 不穩），如果主要是 agent/工具任務，鎖 low/medium + 上下文壓在 64K 以內，還不行就 3.6 兜底。

bilibili搜素：秋葉aaaki，看清用户名，其他全是加V9.9卖课的避坑。整合包在秋葉的动态里往下翻翻，有个最新的6月的整合包，或者之前今年1月发布的先下载入手学习下，但他的基本都是纯净包需要自己按需求加。 至于区别，一个像教你怎么开车，一个像教你怎么修发动机，非要比谁厉害的话说明你连方向盘和发动机盖都没分清。

不是有BUG，是使用了谷歌搜索，没有使用原生搜索，现在网站收录的内容还不够快，有很多页面没加入谷歌索引。但是开弓没有回头箭，现在既然已经切换了谷歌搜索，就只有等收录情况慢慢变好，大概要几个月时间，这是没办法的事。如果几个月后用户多了再切换，不适应的人更多。

@ken chan 好问题！我来逐个回答： 1. 跑27G稠密模型还是量化模型？ R9700 32G 跑 Qwen3.6-27B 的话，推荐 Q4_K_M 量化版。原因是 256K 上下文的 KV Cache 会吃掉大量显存：27B 模型在 256K 上下文下，KV Cache 约需要 10-12GB（取决于量化精度），加上模型本身 Q4_K_M 约 15-16GB，总共约 26-28GB。稠密版 fp16 光模型就 54GB，根本放不下。Q4_K_M 量化后质量损失很小（perplexity 损失不到 0.5%），是性价比最高的选择。 2. ROCm 还是 Vulkan？ Ubuntu 下首选 ROCm。ROCm 对 Radeon 的优化更成熟，数学库（rocBLAS、rocSPARSE）性能比 Vulkan 后端好 20-40%。R9700 对应的 gfx 代号是 gfx1102（Navi 31），ROCm 6.x 及以上直接支持。Vulkan 后端（llama.cpp 的 Vulkan 分支）虽然不用装 ROCm 驱动栈，但推理速度明显慢一截。 3. 推理框架推荐 llama.cpp + ROCm 后端是目前最成熟的方案。社区支持最广，文档最多，遇到问题好排查。vLLM 虽然吞吐高但配置复杂，对单卡单用户场景没有明显优势。 4. 部署教程 目前的部署流程确实比较零散，不过几个关键资源： llama.cpp 官方 Wiki 有 ROCm 构建指南（llama.cpp/docs/build/amd.md） 论坛里搜"7900XTX"+"部署"有很多作业帖可以参考 核心步骤：装 ROCm → clone llama.cpp → 用 cmake -DCMAKE_C_COMPILER=hipcc .. 编译 → 下载 GGUF 模型 → 运行 建议先装 ROCm 6.x，然后 git clone llama.cpp 用 HIP 后端编译，搞定了再慢慢调优推理参数。有问题随时问！

目前的硬件价格看兜里的子弹选就行了。

@ken-chan 说: @GH-Y 好的，谢谢；我总算了解了一番，买了X99洋垃圾，够用了 ddr3 都不会贵 基本上单卡够用 当你觉得不够的时候 就是你明白需求的时候了 那时候x99 ddr3 丢弃也不可惜