技嘉Z890主板 256G DDR5内存 两张Pro6000 96G 跑cpp Qwen3.6 27B BF16与同时双ComfyUI工作流长视频之运行
-
@kos-or 是的, 是蝦皮購買二手的母豬礦電, 只要2100, 但品質很好, 重量很沉
我們從2月開始接觸與摸索, 差不多確實快要半年了。@韦春花 好羨慕3400元真的好平價, 真的太值得了 現在一條要價6500R
@九龙杨生 我們使用ComfyUI大概會跑50-60GB, 單張剩下40GB, 我們想說盡量地去用乾淨, 所以選擇了BF16沒有選擇FP8, 主要是600W的硬體架構與散熱, 我們還要重新買power和換機殼, 想著他太吃電了, 就沒有選擇600W
@566656661 我們有試過A10B和35B A3B, 但是不知道為什麼算力都沒有辦法一下子開頭跑滿全力運算, 總是卡卡的, 後來還是用了27B稠密, 我們的感覺是A10B A3B像省油日本車, 27B稠密像是一台油門全開的跑車。
-
@kos-or 是的, 是蝦皮購買二手的母豬礦電, 只要2100, 但品質很好, 重量很沉
我們從2月開始接觸與摸索, 差不多確實快要半年了。@韦春花 好羨慕3400元真的好平價, 真的太值得了 現在一條要價6500R
@九龙杨生 我們使用ComfyUI大概會跑50-60GB, 單張剩下40GB, 我們想說盡量地去用乾淨, 所以選擇了BF16沒有選擇FP8, 主要是600W的硬體架構與散熱, 我們還要重新買power和換機殼, 想著他太吃電了, 就沒有選擇600W
@566656661 我們有試過A10B和35B A3B, 但是不知道為什麼算力都沒有辦法一下子開頭跑滿全力運算, 總是卡卡的, 後來還是用了27B稠密, 我們的感覺是A10B A3B像省油日本車, 27B稠密像是一台油門全開的跑車。
-
我人生第一次接触AI就是看了版主抡锤者的视频
最早我贪图便宜买了2张Intel A770 16G但是如就像版主说的那样太折腾了,
好不容易跑通, 后来新模型出来又要重新搞一遍, I卡浪费了我的青春, 而我却什么也没得到。后来换成了两张2080ti 22G魔改卡, 我们感受到了质的飞越,
但因为需要跑ComfyUI需要更大的Vram我们换了两张V100 32G虽然旧, 但依旧值回票价。
如今我们跑通了全流程, 直接倾家荡产换上了两张Pro6000 96G。虽然贵, 但必须得说, 真的"太值了"。
主要是想给还在考虑Pro6000的朋友用力推一把, 不是要把你推向深渊, 而是让你展翅高飞。
也把一些我们中途遇到的困难和有想要入手的朋友分享, 至少面对困难之前会有心理准备
主机板：GIGABYTE Z890 AERO G
CPU：Intel Core Ultra 5 225
RAM：Micron DDR5 64GB 6400 ×4
显卡：NVIDIA Pro 6000 Max-Q / Pro 6000 96GB x2
电源：EVGA 1000W GT
存储 : 1TB NVMe x 2
我们使用了Qwen3.6 27B的 BF16模型 256K, 大约会占用60GB的显存
透过llama.cpp的调度分散到两张卡上面, 单卡会占用约30GB左右
在Hermes上实际应用都可以落在25~35t/s以上的速度, Thinking模式有开启, 因为我们实际测试过Thinking模式虽然会导致首字速度变慢, 但是确实智力上和提供的工具调用与来回答覆内容上都可以更加精准使得我们工作更加顺利。每张卡剩余的约60初GB, 我们用来做ComfyUI, 单卡跑LTX2.3的状况, 基本上都可以扛住复杂的工作流, 大约最多占用到50GB, 而且720P / 40秒 的长影片可以轻松产出, 我们验证过Hermes运作时与ComfyUI同时运作时Pro6000本身自带ECC侦错, 可以防止跑大量资料堆积在显存上运算时记忆体发生错误。
要注意的事情
1.建议买Max-Q版本不建议买600W版本, 主要是600W的算力只比Max-Q多15-20%, 但供耗却多出一倍, 如果以商业角度来说, 在未来3年后保值性的部分Max-Q会比600W保值, 因为硬体规格是一样的, 600W版本只是用功率调升一倍, 去硬拉出15%的效能, 商业用户会更多的考虑功率与算力的比值, 而且以个人角度来说Max-Q很够了。2.双显示卡, 如果要搭配比较新的主板如Z890, 很多板子其实没有支援PCIe拆分, 这个买的时候一定要看清楚, 不然买了没有支援会生气。
3.要同时支持llama.cpp, Hermes, 双显卡ComfyUI工作流, 内存一定要够大, 我们当初天真的以为128G够用了, 插了4条32G, 结果全部工作流塞再一起, 直接崩了, 后来又多花钱重新买了 4条 DDR5 6400 64G, 差点都得卖房卖车卖肾。
4.X79.X99平台我们因为贪图记忆体DDR3很便宜, 也买来使用过, 但效果太差了, llama.cpp与Hermes还可以没有问题, 但同时运作ComfyUI, 但LTX2.3选用大颗的模型与复杂工作流时, 很多节点他会大量快速的调用内存, 我们使用了 DDR3 1600 非常卡, 卡到我决定直接换成Z890 又重新破产了一次。
5.BIOS问题, DDR5 4条 64G 同时插上去, 以BIOS版本没有更新的状况,很大概率, 你会点不开机, 卡住, 请一定要把BIOS更新, 且在购买记忆体前, 上网站查询他支援的品牌与频率, 上面没有不代表不能用, 而是代表你得赌, 赌他能不能开机, 赌对了像我一样用的飞起, 赌错了, 荷包又要失血了。
这是我们现在的伺服器工作状态, 基本上就是这样常开着。
- CPU, 会比较建议用Intel, 但买最便宜的就好了但一定要有内显, 不要让我们尊贵不凡的GPU去承担任何一点萤幕显示的效能, 再者我们这么多的工作很少看到CPU吃满, 另外主要是因为主机板的关系, 因为大多时候要真的能够支援DDR5 4条 64G的状况, 支援Intel的主机板, 胜率会比较高, AMD的主机板胜率比较低一些, 但这很看脸, 看运气, 看你平常有没有扶老奶奶过马路积阴德。
最后要说, 抡捶者版主给的资讯都很正确, 一路从Intel是拉基, 到2080Ti魔改卡, 到V100 32G, 到最后Pro6000原地直接飞起, 我们一路上都是花了真金白银, 真的就是你想省硬件, 那你折腾环境, 你不想折腾环境, 那你就得花硬件。
用上两张Pro6000的时候, 我们的感觉好像世界重新打开一样, 不管什么工作流什么GGUF, 再也不用烦恼环境问题, 硬体不足的问题, 真的非常快乐, 如果你也是一个有一些预算, 正在犹豫要pro5000. 4090 48G. 5090 32G的朋友, 请再多想想, 未来两三年如果硬体不够用带来的烦恼与后悔, 现在加一点点预算直上pro6000, 两年后的自己一定会感谢现在的自己。
最后感谢版主抡捶者, 带领我进入AI的领域, 让当初的我从I卡的拉圾堆, 勇敢地爬了出来。真诚的感恩。
@b9704037 有一个问题请教下: 在某一个 VRAM 尺寸限制下, 是选用参数量大的模型, 还是选用量化精度高的模型, 效果更好? 其实我的问题就是, 你的配置有足够的 vram, 为什么还停留在 27B 的模型? 谢谢
-
@b9704037 有一个问题请教下: 在某一个 VRAM 尺寸限制下, 是选用参数量大的模型, 还是选用量化精度高的模型, 效果更好? 其实我的问题就是, 你的配置有足够的 vram, 为什么还停留在 27B 的模型? 谢谢
沒有固定準則吧, 不過通常以量化過的大模型為主
舉個同系列的模型例子, Qwen 3有8B跟32B的模型, 假設VRAM能放得下, 8B原形BF16大約16GB權重, 32B的Q4 IQ4_XS GGUF大約17GB權重, 然而32B對比8B來說這個性能8B是怎麼都跟不上的
不過之前問好像有跑Qwen3.5 122B A10B
-
-
CPU这么不重要吗？都不值得提一下名字，intel哭晕在厕所
@Yu-Nickolas 他沒有常駐服務CPU 不要太爛就沒差吧，頂多編譯/解碼久一點，但我猜老哥是攻頂了
-
沒有固定準則吧, 不過通常以量化過的大模型為主
舉個同系列的模型例子, Qwen 3有8B跟32B的模型, 假設VRAM能放得下, 8B原形BF16大約16GB權重, 32B的Q4 IQ4_XS GGUF大約17GB權重, 然而32B對比8B來說這個性能8B是怎麼都跟不上的
不過之前問好像有跑Qwen3.5 122B A10B
@566656661 问了下 whichllm, 它也推荐 qwen3.6-27b, 这个模型真能打呀
-
我發現日本平台還有一張可以便宜的 NVIDIA RTX PRO 6000 Blackwell 96G ....35萬台幣
可惜我湊不出錢，分享給各位勇者
https://item.fril.jp/15eb5fb9b4137fe548d109e021d93eb6?_gl=1*1ria98d*Rakuma_gcl_au*MTM4MTc2MzQxNC4xNzgxMDAzODYx*_gcl_au*MTgzMjk3ODI3My4xNzgxMDAzODYx*_ga*OTcyNzI1MTI3LjE3ODEwMDM4NjA.*_ga_7KV9PBS698*czE3ODEwMDM4NjAkbzEkZzEkdDE3ODEwMDM4NzkkajQxJGwwJGgw -
我發現日本平台還有一張可以便宜的 NVIDIA RTX PRO 6000 Blackwell 96G ....35萬台幣
可惜我湊不出錢，分享給各位勇者
https://item.fril.jp/15eb5fb9b4137fe548d109e021d93eb6?_gl=1*1ria98d*Rakuma_gcl_au*MTM4MTc2MzQxNC4xNzgxMDAzODYx*_gcl_au*MTgzMjk3ODI3My4xNzgxMDAzODYx*_ga*OTcyNzI1MTI3LjE3ODEwMDM4NjA.*_ga_7KV9PBS698*czE3ODEwMDM4NjAkbzEkZzEkdDE3ODEwMDM4NzkkajQxJGwwJGgw -
重点有问题怎样搞
-
只怪我荷包太浅...
