-
這個技術可以把整個qwen 3.6 35bA3B Q8量化+256k上下文塞進去24g vram～有點想跑看看
-
我不用Deepseek V4 Pro，我都是用的Flash，跑Agent不需要那么大参数，280b都超标了，事实上Qwen3.6 27b可以完成绝大多数工作。它的问题是本地模型的工具链没有云端丰富。但是可以用V4 Flash作为fallback参数，本地不行就调用它。它执行完毕之后形成skills，本地模型再跑就可以了。你换成Qwen3.6 27b+Deepseek V4 Flash不会有多大差距。Hermes不太吃模型自身能力，它的harness做的不错。
关于显卡，一张卡和两张卡+NVLink差距当然大，两张TP算力和显存都翻倍，减去框架开销也有1.8倍左右。3090单卡就够了，你多研究下Turboquant mtp dflash等技术，就一个turboquant搞定就够你玩了。
现在不建议味了跑AI买5090，太贵了，你可以买个RTX Pro 4500 32G就够你用， 5000 48G， 6000 96G都是很好的选择。性能都够了，不会有啥便秘的感觉。5090烧接口，功耗太高这是基本无解的。它的溢价来自于游戏能力。
-
@terry
5090 的溢價 , 來自於將來能改 64G , 甚至 96G .
@Peace-Love 那何必呢，为什么不直接用Pro6000，性价比不是更高？
-
@Peace-Love 那何必呢，为什么不直接用Pro6000，性价比不是更高？
-
@terry
能買三張 5090. -
T terry 于 将此主题从 AI硬件 移至此处
-
Q4_K_XL.gguf 这个模型比较大，不太好，不是越大越好的，你换成Q4KM，因为做的人多，兼容性更好。推理关掉， --reasoning-budget 512 改为0，跑Agent它推理极大影响效率，智力提升微乎其微，kv改为80k，可以尝试Truboquant版本。
-
T terry 于 将此主题从 随便聊聊 移至此处
