抡锤者

我人生第一次接触AI就是看了版主抡锤者的视频
最早我贪图便宜买了2张Intel A770 16G但是如就像版主说的那样太折腾了,
好不容易跑通, 后来新模型出来又要重新搞一遍, I卡浪费了我的青春, 而我却什么也没得到。

后来换成了两张2080ti 22G魔改卡, 我们感受到了质的飞越,
但因为需要跑ComfyUI需要更大的Vram我们换了两张V100 32G虽然旧, 但依旧值回票价。
如今我们跑通了全流程, 直接倾家荡产换上了两张Pro6000 96G。

虽然贵, 但必须得说, 真的"太值了"。

主要是想给还在考虑Pro6000的朋友用力推一把, 不是要把你推向深渊, 而是让你展翅高飞。

也把一些我们中途遇到的困难和有想要入手的朋友分享, 至少面对困难之前会有心理准备

主机板：GIGABYTE Z890 AERO G
CPU：Intel Core Ultra 5 225
RAM：Micron DDR5 64GB 6400 ×4
显卡：NVIDIA Pro 6000 Max-Q / Pro 6000 96GB x2
电源：EVGA 1000W GT
存储 : 1TB NVMe x 2

我们使用了Qwen3.6 27B的 BF16模型 256K, 大约会占用60GB的显存
透过llama.cpp的调度分散到两张卡上面, 单卡会占用约30GB左右
在Hermes上实际应用都可以落在25~35t/s以上的速度, Thinking模式有开启, 因为我们实际测试过Thinking模式虽然会导致首字速度变慢, 但是确实智力上和提供的工具调用与来回答覆内容上都可以更加精准使得我们工作更加顺利。

每张卡剩余的约60初GB, 我们用来做ComfyUI, 单卡跑LTX2.3的状况, 基本上都可以扛住复杂的工作流, 大约最多占用到50GB, 而且720P / 40秒 的长影片可以轻松产出, 我们验证过Hermes运作时与ComfyUI同时运作时Pro6000本身自带ECC侦错, 可以防止跑大量资料堆积在显存上运算时记忆体发生错误。

要注意的事情
1.建议买Max-Q版本不建议买600W版本, 主要是600W的算力只比Max-Q多15-20%, 但供耗却多出一倍, 如果以商业角度来说, 在未来3年后保值性的部分Max-Q会比600W保值, 因为硬体规格是一样的, 600W版本只是用功率调升一倍, 去硬拉出15%的效能, 商业用户会更多的考虑功率与算力的比值, 而且以个人角度来说Max-Q很够了。

2.双显示卡, 如果要搭配比较新的主板如Z890, 很多板子其实没有支援PCIe拆分, 这个买的时候一定要看清楚, 不然买了没有支援会生气。

3.要同时支持llama.cpp, Hermes, 双显卡ComfyUI工作流, 内存一定要够大, 我们当初天真的以为128G够用了, 插了4条32G, 结果全部工作流塞再一起, 直接崩了, 后来又多花钱重新买了 4条 DDR5 6400 64G, 差点都得卖房卖车卖肾。

4.X79.X99平台我们因为贪图记忆体DDR3很便宜, 也买来使用过, 但效果太差了, llama.cpp与Hermes还可以没有问题, 但同时运作ComfyUI, 但LTX2.3选用大颗的模型与复杂工作流时, 很多节点他会大量快速的调用内存, 我们使用了 DDR3 1600 非常卡, 卡到我决定直接换成Z890 又重新破产了一次。

5.BIOS问题, DDR5 4条 64G 同时插上去, 以BIOS版本没有更新的状况,很大概率, 你会点不开机, 卡住, 请一定要把BIOS更新, 且在购买记忆体前, 上网站查询他支援的品牌与频率, 上面没有不代表不能用, 而是代表你得赌, 赌他能不能开机, 赌对了像我一样用的飞起, 赌错了, 荷包又要失血了。

这是我们现在的伺服器工作状态, 基本上就是这样常开着。

6. CPU, 会比较建议用Intel, 但买最便宜的就好了但一定要有内显, 不要让我们尊贵不凡的GPU去承担任何一点萤幕显示的效能, 再者我们这么多的工作很少看到CPU吃满, 另外主要是因为主机板的关系, 因为大多时候要真的能够支援DDR5 4条 64G的状况, 支援Intel的主机板, 胜率会比较高, AMD的主机板胜率比较低一些, 但这很看脸, 看运气, 看你平常有没有扶老奶奶过马路积阴德。

最后要说, 抡捶者版主给的资讯都很正确, 一路从Intel是拉基, 到2080Ti魔改卡, 到V100 32G, 到最后Pro6000原地直接飞起, 我们一路上都是花了真金白银, 真的就是你想省硬件, 那你折腾环境, 你不想折腾环境, 那你就得花硬件。

用上两张Pro6000的时候, 我们的感觉好像世界重新打开一样, 不管什么工作流什么GGUF, 再也不用烦恼环境问题, 硬体不足的问题, 真的非常快乐, 如果你也是一个有一些预算, 正在犹豫要pro5000. 4090 48G. 5090 32G的朋友, 请再多想想, 未来两三年如果硬体不够用带来的烦恼与后悔, 现在加一点点预算直上pro6000, 两年后的自己一定会感谢现在的自己。

最后感谢版主抡捶者, 带领我进入AI的领域, 让当初的我从I卡的拉圾堆, 勇敢地爬了出来。真诚的感恩。

@566656661
是的, 我们是一点点一点点加上来, 什么都买, 什么都试, 直到V100 32结束, 我们在考虑4090 48G的时候, 决定不要再走老路了, 痛很痛, 但是是一时的, 当pro6000运转工作的时候, 不管是头痛肩膀痛, 都自然好了。

@CS6
八张Pro6000 96G 应该是非常人所能及的了, 一般用户的天花板, 大概就是5年不换汽车, 拿去买两张pro6000作为男人的骄傲。

记忆体的坑是真的很坑, 真的要花一些时间理清楚能不能上, 或是有心理准备上牌桌赌一把。
花费上我们已经不知道是在组装电脑, 还是在组装一台进口车了

@566656661
我们当初就是不信邪, 觉得自己可以搞定第一次才买入了I卡, 真的环境会把你搞到想骂娘。

@terry
真的, 最後推我一把決定買下Pro6000的那隻手就是你了, 那句你不想折騰環境, 你就得花硬件, 深深的扎入我的心, 但我覺得真的是要被I卡折磨到體無完膚的人才有辦法深深的感觸。

@terry 我覺得可以說說內存的事情, 看起來DDR4還是很好的選擇, 價錢比較合理一些, 插滿也沒有點不亮的問題, 頻率對於特大型的工作流也還算順利, 而且不會像DDR5插滿會有各種難度的事情, 一下點不開機, 開機後又看到降頻率, 也不會像DDR3跑到某些節點多拖時間的問題。

@CS6
現在的問題其實是單條64G非常非常難買, 市場上大多都是缺貨, 平台大多也是掛著但實際他沒貨, 一條的價錢大概是3倍的32G, 我們也花了2週的時間才湊齊4條美光 6400 64G, 非常耗時間和精力, 原價屋是直接不賣64G, B70很便宜, 但是一想到三個月前cpp還不支援I卡, Docker好難用搞環境搞到半夜, 我真的投降, 誰愛折騰誰買去, 我的天。

@566656661
窩操 我真人發文一個字一個字打的阿

@566656661
是的, 我考慮留給我孫子做紀念了, 一卡傳三代, 人走卡還在。