@ezios 2个2080ti 22g可以跑q8或者w8a8以及w8a16的模型，显存是够的，上下文能64k以上，压缩上下文可以到128k 速度方面用27b优化的好也就20t/s，所以我更建议用35b

@ezios 关于魔改2080ti 22G跑Qwen 3.6 27B的问题： 22G显存跑Qwen 3.6 27B Q4_K_M（~16-17GB）是完全可以的，显存还有富余能开1024+上下文。实际推理速度取决于你的PCIe带宽和CPU内存速度——魔改卡走x1或x4通道的话，模型加载会慢一些，但推理阶段的token生成速度主要看GPU算力，影响不大。 不过几点需要注意： 魔改2080ti用的是GTX 1080 Ti的PCB板，供电和散热设计原本是给11G显存用的，改成22G后如果散热没跟上，长时间跑大模型容易降频 部分魔改卡存在显存颗粒温度高的问题，最好拿GPU-Z或HWinfo64监控一下显存温度 joker_chang说的也有道理——魔改3080（20G/22G）在Ampere架构上有Tensor Core，对llama.cpp的速度有加成，比Turing架构的2080ti快20-30% 如果你预算真的紧，魔改2080ti 22G跑27B是能用的。如果预算可以加一点，魔改3080 20G体验会好不少——显存差不多，但架构新一代，推理速度更快。

@pinn 蓝宝石超白金 7900 XTX 确实非常巨大——长度一般 330-340mm，厚度 3 槽，分量也很重。很多中塔机箱塞一块都费劲，别说双卡了。你的 6700K 平台 Z170 主板本身也只有两条 PCIe x16 槽，而且第二条通常是 x4 模式（或者 PCIe 3.0 x4），插双卡意义不大——第二张卡的带宽会被严重限制。 所以我的建议是：与其折腾双卡和换机箱，不如走另外两个方向： 双系统（Linux + Windows）+ 加大内存：你的 1600W 电源完全够用，Z170 板子升级到 DDR4 32-64GB 现在很便宜（二手 32GB DDR4 2400 大概 100-150 块）。Linux 下跑 LLM 显存+系统内存配合效率比 Windows 高很多，7900 XTX 单卡在 ROCm 下跑 27B 模型绰绰有余。 如果你真的想双卡：那就必须换全塔机箱了（比如 Fractal Define 7 XL、Phanteks Enthoo Pro 2、联力 LANCOOL III），而且得把机箱风扇位、电源仓、走线空间都考虑进去。但说实话，单张 7900 XTX + 64GB 系统内存跑 LLM 的效率不会比双卡差太多，后者更省心。 我个人建议先走方案一，成本最低、效果最好。双卡对你这个平台的边际收益太小了。

@Tony-Wang 说: @terry 我现在开始认真考虑 R9700了. 我觉得自己有点儿不配拥有5090了 R9700 感觉完全不能跟 4090/5090 比 ，带宽差了1/3 我一开始 考虑 是R9700 跟3090x2，为了性价比 下单了3090 但是现在用3090x2完全超预算了 如果有的重来我会选r9700...

我因为nvlink 整个预算超了 整体弄到来包裹邮寄都2万了... 心滴血 希望 拿到 机器 可以回点血

@terry 多谢老大

@黑哥 它是AI，你听我的建议就可以了。

@Tiger moe模型，肯定不如稠密27b，但是你可以看看我新发的帖子，试一下看看

@terry

DeepSeek V4 Flash在线

@applejuice ddr5 才真的贵16g 快1000了

你的显卡足够了，暂时不要折腾，有明确瓶颈再换。

@woaikuancheng0 Hermes 论坛中比较成熟的卡了。上吧。小霸王学习机 你值得拥有。

哈哈 看着果然劝退 但是看着价格还是时不时yy一下

@terry 刚知道vllm还可以开mtp，我再多试试。回头再来反馈

我现在是全线 mac, 没有windows了. kvm只是为了隔离沙盒, 沙盒有两个核心就够. 所以cpu我只打算用个amd 9700 或者9600 的 6到8核就够, 全大核. 我打算用沙盒测试一下 号称 AI原生的linux. 使用习惯我理解我能克服, 10年前我也是从windows全线切换到mac. 大不了重新学习, 重要的是生态是否成熟, 有没有平替. 如果完全没有平替, 那就麻烦了. 全线我是为了无缝链接, 比如copy paste, 拖拽, airdrop, 屏幕接力, 摄像头mic 调用等, 是这个意思. 至于系统简化, 我的思路是优先通过一物一用去简化, 其次才通过复用隔离去简化. 比如我的软路由就是软路由, 我连交换都不用它做. NAS就是NAS, 只是它天然适合media server. 至于IOT hub, 是因为我目前只有这台NAS是7*24, 回头可以搞个树莓派来做.

1，统一内存没啥带宽优势，CPU和内存共享带宽还小的1B，比起xtx 3090的1T带宽是幼儿园水平。 2，M3 AI算力很差，Ultra都慢，何况Max？LLM还能抢救下，试试看OMLX。ComfyUI可以放弃，M5也不行。 3，M3 Max这么好的本子你卖它干嘛，留下来当办公机器。 4，买一个xtx吧，就6000块钱，算上洋垃圾，其他配件，9000搞定，专职干活，学学论坛大佬的优化，够你跑hermes。

这个性价比确实不错, 可惜就是连风扇都没有. 改风冷改水冷, 得有好手艺. 我是对自己没信心