跑 COFYUI 問題

[terry]

@CS6 无脑上R9700，可以双卡TP，R9700吊打B70，你现在加B70还得折腾两套驱动。

[CS6]

@terry 價差很糾結啊，台幣差快2萬.... 業餘項目還沒想到怎麼回本
我工作主要還是靠 Claude max+ codex max ，本地 LLM coding 暫時無法取代

[terry]

不太理解，大陆这边差1000块钱，，如果非要买第二章玩玩LLM，那么B70也能玩，咱不是有sirwang在吗？

[sirwang]

@CS6 我不知道AMD和INTEL的卡在一个平台上会不会有冲突，但老特的AMD/NV的卡放一个平台上哪怕是LINUX上也没冲突。
B70PRO 目前我测试的情况，更适合VLLM去做多路并发，用的模型是破限的 qwen2.6-27B，这也是老特测试过而且大家都喜欢用的。

还是那个问题，你的‘小规模’和‘多人’是小到啥程度和多到啥程度，我试过26条并行去OCR，他已经不行了。理想是在20条流。大概的TOKEN数是400/S 这已经是这个卡的天花板了，也有420、440这个速度的但都是一闪而过坚持不住。 这个数据给你参考。

它的耗电量，官方说是290W，其实我用着在300W左右。有时候会瞬间超到310瓦。这个你也可以参考你现在的R9700去计算一下划算不划算，因为貌似岛上夏天了电价会越来越高... 不涉及政治，这是夹克黄说的。哇哈哈哈。 所以说，综合考虑吧。

另外说一点： 显卡，听说会涨价更多。 太疯狂了。买就建议早买。

[CS6]

@terry 也差太多，我這邊 R9700 報價 53000 、B70 36000
我該來看看掏一張了

[CS6]

@sirwang 電還好，沒有歐美貴
我考慮的是設備保值跟效益，至於折騰我覺得還好
不過我的機器也只能插2~3 張 GPU 當初省錢沒有上 Threadripper
所以在想是 R9700 雙路 還是換成 B70 雙路省錢，或是 R9700 ＋ B70 同時跑不同任務(我走PVE直通)
目前是 R9700 + 3070 在玩，稍微補足一下產影片沒有 cuda 的缺點
多人聊天實驗目標是20條即可，結構輸出/長 context/ VK 反而是我的重點，不過這部分有其他方案可以參考
我是看了評測的影片感覺 B70 單純在推理上面好像蠻強的

[sirwang]

@CS6 说:

R9700 ＋ B70 同時跑不同任務

看起来这样跑是最合适的。 两张B70.... vllm 用一张， 跑音频/生图啥的用一张，这样也行其实。 但如果跑视频，目前来看，不推荐B70。 不管是 wan还是ltx。

四块： 音频、图片、视频、LLM ，除了视频，其它B70可以打，如果玩视频。还是R9700/4080S吧。

[ppk]

@sirwang @cs6 @terry
拜讀過三位大哥的YT+兩篇文章
小弟本來就在玩PVE frigate+直通+truenas
用的設備都是對低的
本來跑Ai都用雲端的
因為教學生成Ai
目前也是考慮用PVE + win VM試試看影片生成
從3090 雲Ai的答案
但因為台灣送修沒那麼方便
到R7900
台幣約52000(CNY11000)
考慮到rocm及nvnodes的關係及價格
再到 B70
台幣約35990(CNY7850)
因為看到王哥的作業及價格，但最後目前視頻還是考慮到nvnodes的關係
暫時不考慮LLM(用20刀及API，目前夠用)
因為小弟預計後面LLM會向下相容小VRAM的卡
視頻(comfyui)本來就突破小VRAM的限制
只是猶豫16G的5060 Ti約CNY4000想跑720p會不會太難受
希望三位大哥給個信心(我從老特說就開始關注老特了)
如果用5060 Ti 16G
還是考慮米的問題
而且這卡應該很好脫手
@cs6 B70 台灣比較便宜
大陸這一年 3C漲太兇了，在台灣買比較便宜
您B70 36000應該是原價屋的，我打電話問過了，台灣只剩那張，其他看到的都是公版卡
要下手快

[CS6]

@ppk 说:

R7900

預算只有一張的話你可以考慮 對岸魔改N卡 或是 R9700 ，我在問 B70 是作為副卡考量的XD
但我不知道 B70 還有非公版的區別，感謝分享
但我建議不考慮 小VRAM (24以下都很小)，記憶體都是越吃越兇的，變小只是能跑的標準降低，可能不代表能有一樣品質.....
重複購買才是最浪費錢的
然後我很不推 win VM ，win就是個浪費效能的東西

[ppk]

@CS6
感謝~~
其實我在蝦皮上面有看到4080s 32G 6.5W
但就是擔心壞掉的問題
至於vm，win是來學習的，真的要用應該會用lxc

[CS6]

@ppk 那我很推 PVE ，在設定顯卡直通上面有很多不錯的方案

[sirwang]

@CS6 一直听说有PVE/ESXI的多显卡直通/内存叠加方案用到comfyui上。但一直没看到过相关信息的教程。在YT上看到过一些，但都说的云里雾里的。

[ppk]

@sirwang 可以再提供點資料嗎?
您是說pve虛擬卡嗎?

[sirwang]

@ppk 显卡直通后虚拟成整个算力集合，之后再拆分成不同的算力级别： 8卡4090-48G 虚拟成一个，之后再把它拆成2个‘虚拟卡’ 这样一个卡就有192G 显存.... 我知道有这么回事，但不知道如何操作。

[ppk]

@sirwang 小弟孤陋寡聞了
但我超想要的~~~

[CS6]

@sirwang @ppk 需要 PRO 6000 那種高階卡才能單卡分割喔....
多卡只要分配就好

[ppk]

@cs6 您說的是vGPU分割
@sirwang 說的是多顯卡合併成一張

[sirwang]

@CS6 不是这样的，是用虚拟技术把显卡硬件直通，之后虚拟成一个池子。之后再单独分出来不同的算力的这种方式。

那些在线云计算平台应该就是用的这种技术吧？ 实际是如何操作的我一直不知道。 但有一点是肯定的。 INTEL 的卡，如果2张卡做互联--使用PCIE 的话， 那性能只相当于150% 的总体计算性能。

那天看到comfyui说可以支持多卡了，我不知道那张截图的真实程度，如果真的可以了，那就太好了。

[ppk]

comfyui 可以多卡並行不同任務(節點)吧
把兩張卡合併再塞入一個模型<這我想要~~哈哈哈

[CS6]

@sirwang 了解，下週上工我來試試看，剛好公司有個部署工單可以玩一下，但我們之前都是手動切分實體卡分派任務，是有在想嘗試搞類似 Runpod.io 的架構，
AMD 卡我就不確定了，只知道雙卡跑同一個模型的做法，第二張卡還沒到，到時研究下