<![CDATA[3090还是3090 *2+NVLink]]>如果我想安装 qwen 3.6 27b 模型
主要是当hermes agent和 openclaw的本地模型
会安装 Uncensored版本的

1.建议使用 3090吗?
2.一张跟两张 3090 +NVLink 差异大吗? 会建议两张吗?

目前海外的价格 感觉这样买
比买 4090 24G 或是 5090 32G划算
不在国内 没办法买到 4090 48G ........

目前主要使用
1.Claude Opus 4.7 + thinking xhigh
2.DeepSeek V4 Pro + thinking max
3.MiniMax-M2.7 + thinking high
希望能力能超过 "MiniMax-M2.7+thinking high"
能跟 "DeepSeek V4 Pro+thinking max" 差不多就更好了

]]>https://lcz.me/topic/10/3090还是3090-2-nvlinkRSS for NodeWed, 20 May 2026 07:04:46 GMTSun, 03 May 2026 15:54:44 GMT60<![CDATA[Reply to 3090还是3090 *2+NVLink on Tue, 05 May 2026 18:46:24 GMT]]>@Peace-Love 好吧，以后还真能改，这是隐藏福利。

]]>https://lcz.me/post/265https://lcz.me/post/265Tue, 05 May 2026 18:46:24 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Tue, 05 May 2026 11:44:34 GMT]]>@terry
能買三張 5090.

]]>https://lcz.me/post/216https://lcz.me/post/216Tue, 05 May 2026 11:44:34 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Tue, 05 May 2026 08:04:54 GMT]]>目前单3090 跑qwen 3.6 q4km 用了Truboquant 可以跑128k上下文 没什么问题

]]>https://lcz.me/post/201https://lcz.me/post/201Tue, 05 May 2026 08:04:54 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Tue, 05 May 2026 05:48:31 GMT]]>@Peace-Love 那何必呢，为什么不直接用Pro6000，性价比不是更高？

]]>https://lcz.me/post/190https://lcz.me/post/190Tue, 05 May 2026 05:48:31 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Tue, 05 May 2026 05:44:13 GMT]]>@terry
5090 的溢價 , 來自於將來能改 64G , 甚至 96G .
🙄

]]>https://lcz.me/post/189https://lcz.me/post/189Tue, 05 May 2026 05:44:13 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Tue, 05 May 2026 04:53:25 GMT]]>@暧昧光影 挺好的，做好散热都没啥问题。

]]>https://lcz.me/post/178https://lcz.me/post/178Tue, 05 May 2026 04:53:25 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Tue, 05 May 2026 04:47:44 GMT]]>看到up推荐3090，担心背面显存温度过高，加了点入了3090ti，up觉得怎么样@terry

]]>https://lcz.me/post/176https://lcz.me/post/176Tue, 05 May 2026 04:47:44 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 08:46:34 GMT]]>@鍾子揚 不建议折腾35b，它不如27b强，甚至差距明显

]]>https://lcz.me/post/78https://lcz.me/post/78Mon, 04 May 2026 08:46:34 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 08:43:40 GMT]]>https://www.reddit.com/r/LocalLLaMA/comments/1sw5fb7/qwen36_35b_a3b_heretic_kld_00015_incredible_model/

這個技術可以把整個qwen 3.6 35bA3B Q8量化+256k上下文塞進去24g vram～有點想跑看看

]]>https://lcz.me/post/77https://lcz.me/post/77Mon, 04 May 2026 08:43:40 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 08:13:55 GMT]]>@terry 感谢提供意见，在海外买不到4080S 32G 我找另外两张 再次感谢

]]>https://lcz.me/post/76https://lcz.me/post/76Mon, 04 May 2026 08:13:55 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 03:58:35 GMT]]>@starryskyknight 你买4080S 32G，或加几千买RTX Pro4500 32G。如果想便宜3090 24G。

]]>https://lcz.me/post/72https://lcz.me/post/72Mon, 04 May 2026 03:58:35 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 03:48:15 GMT]]>@terry 好的，谢谢。我试一下

]]>https://lcz.me/post/71https://lcz.me/post/71Mon, 04 May 2026 03:48:15 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 03:38:24 GMT]]>Q4_K_XL.gguf 这个模型比较大，不太好，不是越大越好的，你换成Q4KM，因为做的人多，兼容性更好。推理关掉， --reasoning-budget 512 改为0，跑Agent它推理极大影响效率，智力提升微乎其微，kv改为80k，可以尝试Truboquant版本。

]]>https://lcz.me/post/69https://lcz.me/post/69Mon, 04 May 2026 03:38:24 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 03:16:15 GMT]]>@terry 哥，我的启动参数如下：
/root/llama.cpp/build/bin/llama-server -m /data/models/gguf/Qwen3.6-27B-UD-Q4_K_XL.gguf --mmproj /data/models/gguf/Qwen3.6-27B-mmproj-F16.gguf --mmproj-offload --alias qwen36-27B-Q4 --jinja -ngl 999 -c 128000 -fa on --cache-ram 16384 --cache-type-k q8_0 --cache-type-v q8_0 -np 1 --sampling-seq k --top-k 1 --host 0.0.0.0 --port 11434 --reasoning on --reasoning-format deepseek --reasoning-budget 512

]]>https://lcz.me/post/67https://lcz.me/post/67Mon, 04 May 2026 03:16:15 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 02:54:13 GMT]]>terry 抱歉 预算大概一万七一万八人民币内

]]>https://lcz.me/post/66https://lcz.me/post/66Mon, 04 May 2026 02:54:13 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 01:32:32 GMT]]>@starryskyknight 你预算都不说，a100最好

]]>https://lcz.me/post/61https://lcz.me/post/61Mon, 04 May 2026 01:32:32 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 01:32:10 GMT]]>@刘海彬 可能吧，我暂时没遇到，你是不是用了q4ks? Kv怎么量化的？

]]>https://lcz.me/post/60https://lcz.me/post/60Mon, 04 May 2026 01:32:10 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Mon, 04 May 2026 00:44:49 GMT]]>我目前使用rtx3090 跑qwen3.6 27B Q4量化，给hermes用基本可以的，就是有时候偶发工具调用死循环，我已经在hermes的人设内容限制很死了，概率降低了很多，但是偶尔还是会，我感觉是模型问题了。

]]>https://lcz.me/post/57https://lcz.me/post/57Mon, 04 May 2026 00:44:49 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Sun, 03 May 2026 19:34:22 GMT]]>@terry 海外我的用途 最推荐的是哪张卡啊? 我看您比较推荐nvidia的生态

]]>https://lcz.me/post/52https://lcz.me/post/52Sun, 03 May 2026 19:34:22 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Sun, 03 May 2026 17:21:47 GMT]]>Claude Opus 4.5时代最好用，最近幻觉太多，minimax也不错，但是deepseek v4 flash便宜。本地就只有qwen 27b，但是速度远不如在线。

]]>https://lcz.me/post/49https://lcz.me/post/49Sun, 03 May 2026 17:21:47 GMT<![CDATA[Reply to 3090还是3090 *2+NVLink on Sun, 03 May 2026 17:10:46 GMT]]>我不用Deepseek V4 Pro，我都是用的Flash，跑Agent不需要那么大参数，280b都超标了，事实上Qwen3.6 27b可以完成绝大多数工作。它的问题是本地模型的工具链没有云端丰富。但是可以用V4 Flash作为fallback参数，本地不行就调用它。它执行完毕之后形成skills，本地模型再跑就可以了。你换成Qwen3.6 27b+Deepseek V4 Flash不会有多大差距。Hermes不太吃模型自身能力，它的harness做的不错。

关于显卡，一张卡和两张卡+NVLink差距当然大，两张TP算力和显存都翻倍，减去框架开销也有1.8倍左右。3090单卡就够了，你多研究下Turboquant mtp dflash等技术，就一个turboquant搞定就够你玩了。

现在不建议味了跑AI买5090，太贵了，你可以买个RTX Pro 4500 32G就够你用， 5000 48G， 6000 96G都是很好的选择。性能都够了，不会有啥便秘的感觉。5090烧接口，功耗太高这是基本无解的。它的溢价来自于游戏能力。

]]>https://lcz.me/post/47https://lcz.me/post/47Sun, 03 May 2026 17:10:46 GMT