抡锤者

支持老特，今晚见

我的模型是这个Qwen3.8-27B-UD-IQ4_XS，上下文32K 速度快且稳定，192k 慢但不崩溃（部分卸载到内存）。

可以试试llama.cpp+Vulkan看能不能绕开这个BUG，我的5070TI 16g也曾经遇到这个问题，用Vulkan暂时稳定

这卡不能上SGLang，极度麻烦不说还不稳定，不要问我怎么知道，说多了都是泪。vllm有现成docker镜像这个配置最简单但版本偏旧，也可以用VENV弄，这样vllm版本会新一点，已经可以上qwen3.8了，正在使用，但是感觉比3.6慢了好多，写写无审查代码找bug挺牛的，但不建议用来驱动hermes慢得吐血，hermes还是上deepseek v4flash吧

@shro11 不慢啊，我的AMD R9700 ，平均40token/s，你要下载AWQ的优化版

DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored ，换这个模型，hermes基本上不会中断长任务

CMP170HX显存可解锁至80GB这个描述就不太准确，CMP170HX按照显存区分也分两个版本8G和10G版，只有10G版才能解锁80G，但是就算能在nVidia-smi中看到有80G显存也没意义，80G显存并不能稳定运行，99%显存报错，实际能稳定运行的只有40G的解锁模式。8G版本虽然说可以直接解锁64G显存，里面有个天坑就是三星代工的版本，非常不稳定内存报错卡死奇奇怪怪的问题特别特别多。这个卡都是矿场锻炼好几年的，不怕死的可以试试。