技嘉Z890主板 256G DDR5内存 两张Pro6000 96G 跑cpp Qwen3.6 27B BF16与同时双ComfyUI工作流长视频之运行
-
@williamlouis 好奇大大為何這樣說？ 我看他也沒什麼數據不是嗎？
-
我發現日本平台還有一張可以便宜的 NVIDIA RTX PRO 6000 Blackwell 96G ....35萬台幣
可惜我湊不出錢，分享給各位勇者
https://item.fril.jp/15eb5fb9b4137fe548d109e021d93eb6?_gl=1*1ria98d*Rakuma_gcl_au*MTM4MTc2MzQxNC4xNzgxMDAzODYx*_gcl_au*MTgzMjk3ODI3My4xNzgxMDAzODYx*_ga*OTcyNzI1MTI3LjE3ODEwMDM4NjA.*_ga_7KV9PBS698*czE3ODEwMDM4NjAkbzEkZzEkdDE3ODEwMDM4NzkkajQxJGwwJGgw我这几天也一直云我这边二手网站~看到有人出去年买的两张。。单张1750万韩币，一张折合人民币大约7万7
-
@Q-maria 这价格好 没人去下手么 快递到国内 不知道靠不靠谱
-
@Q-maria 这价格好 没人去下手么 快递到国内 不知道靠不靠谱
-
@b9704037 有一个问题请教下: 在某一个 VRAM 尺寸限制下, 是选用参数量大的模型, 还是选用量化精度高的模型, 效果更好? 其实我的问题就是, 你的配置有足够的 vram, 为什么还停留在 27B 的模型? 谢谢
@laobenxiong 因為我們同時還要跑comfyUI, 一個卡一個工作流希望留60GB的空間給comfyUI, 27B全速運算的感覺很好, 搭配Hermes真的很好用, 35B A3B我們真的用不習慣, 太卡了
@Yu-Nickolas Utral 5 225 就能用就行便宜有內顯可以不吃我顯卡就行了
-
我發現日本平台還有一張可以便宜的 NVIDIA RTX PRO 6000 Blackwell 96G ....35萬台幣
可惜我湊不出錢，分享給各位勇者
https://item.fril.jp/15eb5fb9b4137fe548d109e021d93eb6?_gl=1*1ria98d*Rakuma_gcl_au*MTM4MTc2MzQxNC4xNzgxMDAzODYx*_gcl_au*MTgzMjk3ODI3My4xNzgxMDAzODYx*_ga*OTcyNzI1MTI3LjE3ODEwMDM4NjA.*_ga_7KV9PBS698*czE3ODEwMDM4NjAkbzEkZzEkdDE3ODEwMDM4NzkkajQxJGwwJGgw -
@kos-or 買錯配置最麻煩的就是就是又要回去折騰環境, 如果折騰失敗了, 又要面臨找下一個接盤俠把它買走, 好賣的東西還可以, 但像我手上兩張Intel A770 16G, 最後只賣出一張, 一張無人問津, 最後只能自己的電腦打普通遊戲了。
-
我是先買了一張 RTX 5070 Ti 16GB, 但VRAM不夠 想辦法要擴充,
之前有特別注意了 Intel A770 16G, 記得ASRock 有出 Intel A770
它的Mem bandwidth 不錯, 不過沒用過 不敢拿來跑AI, 只能狠心買了第二張5070 Ti -
@terry
真的, 最後推我一把決定買下Pro6000的那隻手就是你了, 那句你不想折騰環境, 你就得花硬件, 深深的扎入我的心, 但我覺得真的是要被I卡折磨到體無完膚的人才有辦法深深的感觸。 -
系统 于 取消固定此主题
-
@kos-or I卡其實各項硬體數據和價格都很好, 但就是生態實在太狗屎了, 不過最近好像一直有在改變, 但也不知道追上Cuda要多長的時間, 像是我們有商業工作需求, 我們就只能放棄研究I卡了
-
我人生第一次接触AI就是看了版主抡锤者的视频
最早我贪图便宜买了2张Intel A770 16G但是如就像版主说的那样太折腾了,
好不容易跑通, 后来新模型出来又要重新搞一遍, I卡浪费了我的青春, 而我却什么也没得到。后来换成了两张2080ti 22G魔改卡, 我们感受到了质的飞越,
但因为需要跑ComfyUI需要更大的Vram我们换了两张V100 32G虽然旧, 但依旧值回票价。
如今我们跑通了全流程, 直接倾家荡产换上了两张Pro6000 96G。虽然贵, 但必须得说, 真的"太值了"。
主要是想给还在考虑Pro6000的朋友用力推一把, 不是要把你推向深渊, 而是让你展翅高飞。
也把一些我们中途遇到的困难和有想要入手的朋友分享, 至少面对困难之前会有心理准备
主机板：GIGABYTE Z890 AERO G
CPU：Intel Core Ultra 5 225
RAM：Micron DDR5 64GB 6400 ×4
显卡：NVIDIA Pro 6000 Max-Q / Pro 6000 96GB x2
电源：EVGA 1000W GT
存储 : 1TB NVMe x 2
我们使用了Qwen3.6 27B的 BF16模型 256K, 大约会占用60GB的显存
透过llama.cpp的调度分散到两张卡上面, 单卡会占用约30GB左右
在Hermes上实际应用都可以落在25~35t/s以上的速度, Thinking模式有开启, 因为我们实际测试过Thinking模式虽然会导致首字速度变慢, 但是确实智力上和提供的工具调用与来回答覆内容上都可以更加精准使得我们工作更加顺利。每张卡剩余的约60初GB, 我们用来做ComfyUI, 单卡跑LTX2.3的状况, 基本上都可以扛住复杂的工作流, 大约最多占用到50GB, 而且720P / 40秒 的长影片可以轻松产出, 我们验证过Hermes运作时与ComfyUI同时运作时Pro6000本身自带ECC侦错, 可以防止跑大量资料堆积在显存上运算时记忆体发生错误。
要注意的事情
1.建议买Max-Q版本不建议买600W版本, 主要是600W的算力只比Max-Q多15-20%, 但供耗却多出一倍, 如果以商业角度来说, 在未来3年后保值性的部分Max-Q会比600W保值, 因为硬体规格是一样的, 600W版本只是用功率调升一倍, 去硬拉出15%的效能, 商业用户会更多的考虑功率与算力的比值, 而且以个人角度来说Max-Q很够了。2.双显示卡, 如果要搭配比较新的主板如Z890, 很多板子其实没有支援PCIe拆分, 这个买的时候一定要看清楚, 不然买了没有支援会生气。
3.要同时支持llama.cpp, Hermes, 双显卡ComfyUI工作流, 内存一定要够大, 我们当初天真的以为128G够用了, 插了4条32G, 结果全部工作流塞再一起, 直接崩了, 后来又多花钱重新买了 4条 DDR5 6400 64G, 差点都得卖房卖车卖肾。
4.X79.X99平台我们因为贪图记忆体DDR3很便宜, 也买来使用过, 但效果太差了, llama.cpp与Hermes还可以没有问题, 但同时运作ComfyUI, 但LTX2.3选用大颗的模型与复杂工作流时, 很多节点他会大量快速的调用内存, 我们使用了 DDR3 1600 非常卡, 卡到我决定直接换成Z890 又重新破产了一次。
5.BIOS问题, DDR5 4条 64G 同时插上去, 以BIOS版本没有更新的状况,很大概率, 你会点不开机, 卡住, 请一定要把BIOS更新, 且在购买记忆体前, 上网站查询他支援的品牌与频率, 上面没有不代表不能用, 而是代表你得赌, 赌他能不能开机, 赌对了像我一样用的飞起, 赌错了, 荷包又要失血了。
这是我们现在的伺服器工作状态, 基本上就是这样常开着。
- CPU, 会比较建议用Intel, 但买最便宜的就好了但一定要有内显, 不要让我们尊贵不凡的GPU去承担任何一点萤幕显示的效能, 再者我们这么多的工作很少看到CPU吃满, 另外主要是因为主机板的关系, 因为大多时候要真的能够支援DDR5 4条 64G的状况, 支援Intel的主机板, 胜率会比较高, AMD的主机板胜率比较低一些, 但这很看脸, 看运气, 看你平常有没有扶老奶奶过马路积阴德。
最后要说, 抡捶者版主给的资讯都很正确, 一路从Intel是拉基, 到2080Ti魔改卡, 到V100 32G, 到最后Pro6000原地直接飞起, 我们一路上都是花了真金白银, 真的就是你想省硬件, 那你折腾环境, 你不想折腾环境, 那你就得花硬件。
用上两张Pro6000的时候, 我们的感觉好像世界重新打开一样, 不管什么工作流什么GGUF, 再也不用烦恼环境问题, 硬体不足的问题, 真的非常快乐, 如果你也是一个有一些预算, 正在犹豫要pro5000. 4090 48G. 5090 32G的朋友, 请再多想想, 未来两三年如果硬体不够用带来的烦恼与后悔, 现在加一点点预算直上pro6000, 两年后的自己一定会感谢现在的自己。
最后感谢版主抡捶者, 带领我进入AI的领域, 让当初的我从I卡的拉圾堆, 勇敢地爬了出来。真诚的感恩。
