抡锤者

其实可以考虑一下二手7900XTX 24G，上llama.cpp速度很快，毕竟接近1t的显存宽带

其实AMD 的r9700 32g生产力在linux下真的不错了，而且是全新质保3年的卡，视音频和大模型都可以无疼上。48g显存的也有W7900 48G才1.9w也是全新卡，慢点总比宕机好。软件问题有大模型其实很好解决，硬件问题deepseek也帮不到你

@Xiaote 经过社区的无数人测试踩坑，qwen3.8 27B的生成质量和智力对KV 量化极度敏感，你回答之前最好去社区核实下。

上下文的KV缓存压缩关掉试试?

论坛原来仲有香港的兄弟，10年前去香港的黄金电脑城买显卡gtx 1070就觉得点解比深圳仲要贵？但是当时系香港买手机真是平。一个月前入手AMD 的w7900 48g玩生视频，等我也抄下作业上个qwen3.8 27B

正好有两张7900XTX，可以抄作业，谢谢楼主。

给近期想买3090显卡的兄弟们提个醒，3090在PCB背面放了12颗GDDR6X显存，仅靠背板被动散热。高负载下温度轻易突破100℃，长期高温会加速老化虚焊，导致花屏或直接点不亮。特别是想上双卡跑大模型的一定要注意散热，论坛中有个大神提议的开放式机箱，加显卡背对背放的方案不错，值得参考。

京东上买的基本不会砍单，小黄鱼上砍单太常见了，上午拍下午砍单的都有

支持老特，今晚见

我的模型是这个Qwen3.8-27B-UD-IQ4_XS，上下文32K 速度快且稳定，192k 慢但不崩溃（部分卸载到内存）。

可以试试llama.cpp+Vulkan看能不能绕开这个BUG，我的5070TI 16g也曾经遇到这个问题，用Vulkan暂时稳定

这卡不能上SGLang，极度麻烦不说还不稳定，不要问我怎么知道，说多了都是泪。vllm有现成docker镜像这个配置最简单但版本偏旧，也可以用VENV弄，这样vllm版本会新一点，已经可以上qwen3.8了，正在使用，但是感觉比3.6慢了好多，写写无审查代码找bug挺牛的，但不建议用来驱动hermes慢得吐血，hermes还是上deepseek v4flash吧

@shro11 不慢啊，我的AMD R9700 ，平均40token/s，你要下载AWQ的优化版

DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored ，换这个模型，hermes基本上不会中断长任务

CMP170HX显存可解锁至80GB这个描述就不太准确，CMP170HX按照显存区分也分两个版本8G和10G版，只有10G版才能解锁80G，但是就算能在nVidia-smi中看到有80G显存也没意义，80G显存并不能稳定运行，99%显存报错，实际能稳定运行的只有40G的解锁模式。8G版本虽然说可以直接解锁64G显存，里面有个天坑就是三星代工的版本，非常不稳定内存报错卡死奇奇怪怪的问题特别特别多。这个卡都是矿场锻炼好几年的，不怕死的可以试试。