跑 COFYUI 問題

[CS6]

@terry 也差太多，我這邊 R9700 報價 53000 、B70 36000
我該來看看掏一張了

[CS6]

@sirwang 電還好，沒有歐美貴
我考慮的是設備保值跟效益，至於折騰我覺得還好
不過我的機器也只能插2~3 張 GPU 當初省錢沒有上 Threadripper
所以在想是 R9700 雙路 還是換成 B70 雙路省錢，或是 R9700 ＋ B70 同時跑不同任務(我走PVE直通)
目前是 R9700 + 3070 在玩，稍微補足一下產影片沒有 cuda 的缺點
多人聊天實驗目標是20條即可，結構輸出/長 context/ VK 反而是我的重點，不過這部分有其他方案可以參考
我是看了評測的影片感覺 B70 單純在推理上面好像蠻強的

[sirwang]

@CS6 说:

R9700 ＋ B70 同時跑不同任務

看起来这样跑是最合适的。 两张B70.... vllm 用一张， 跑音频/生图啥的用一张，这样也行其实。 但如果跑视频，目前来看，不推荐B70。 不管是 wan还是ltx。

四块： 音频、图片、视频、LLM ，除了视频，其它B70可以打，如果玩视频。还是R9700/4080S吧。

[ppk]

@sirwang @cs6 @terry
拜讀過三位大哥的YT+兩篇文章
小弟本來就在玩PVE frigate+直通+truenas
用的設備都是對低的
本來跑Ai都用雲端的
因為教學生成Ai
目前也是考慮用PVE + win VM試試看影片生成
從3090 雲Ai的答案
但因為台灣送修沒那麼方便
到R7900
台幣約52000(CNY11000)
考慮到rocm及nvnodes的關係及價格
再到 B70
台幣約35990(CNY7850)
因為看到王哥的作業及價格，但最後目前視頻還是考慮到nvnodes的關係
暫時不考慮LLM(用20刀及API，目前夠用)
因為小弟預計後面LLM會向下相容小VRAM的卡
視頻(comfyui)本來就突破小VRAM的限制
只是猶豫16G的5060 Ti約CNY4000想跑720p會不會太難受
希望三位大哥給個信心(我從老特說就開始關注老特了)
如果用5060 Ti 16G
還是考慮米的問題
而且這卡應該很好脫手
@cs6 B70 台灣比較便宜
大陸這一年 3C漲太兇了，在台灣買比較便宜
您B70 36000應該是原價屋的，我打電話問過了，台灣只剩那張，其他看到的都是公版卡
要下手快

[CS6]

@ppk 说:

R7900

預算只有一張的話你可以考慮 對岸魔改N卡 或是 R9700 ，我在問 B70 是作為副卡考量的XD
但我不知道 B70 還有非公版的區別，感謝分享
但我建議不考慮 小VRAM (24以下都很小)，記憶體都是越吃越兇的，變小只是能跑的標準降低，可能不代表能有一樣品質.....
重複購買才是最浪費錢的
然後我很不推 win VM ，win就是個浪費效能的東西

[ppk]

@CS6
感謝~~
其實我在蝦皮上面有看到4080s 32G 6.5W
但就是擔心壞掉的問題
至於vm，win是來學習的，真的要用應該會用lxc

[CS6]

@ppk 那我很推 PVE ，在設定顯卡直通上面有很多不錯的方案

[sirwang]

@CS6 一直听说有PVE/ESXI的多显卡直通/内存叠加方案用到comfyui上。但一直没看到过相关信息的教程。在YT上看到过一些，但都说的云里雾里的。

[ppk]

@sirwang 可以再提供點資料嗎?
您是說pve虛擬卡嗎?

[sirwang]

@ppk 显卡直通后虚拟成整个算力集合，之后再拆分成不同的算力级别： 8卡4090-48G 虚拟成一个，之后再把它拆成2个‘虚拟卡’ 这样一个卡就有192G 显存.... 我知道有这么回事，但不知道如何操作。

[ppk]

@sirwang 小弟孤陋寡聞了
但我超想要的~~~

[CS6]

@sirwang @ppk 需要 PRO 6000 那種高階卡才能單卡分割喔....
多卡只要分配就好

[ppk]

@cs6 您說的是vGPU分割
@sirwang 說的是多顯卡合併成一張

[sirwang]

@CS6 不是这样的，是用虚拟技术把显卡硬件直通，之后虚拟成一个池子。之后再单独分出来不同的算力的这种方式。

那些在线云计算平台应该就是用的这种技术吧？ 实际是如何操作的我一直不知道。 但有一点是肯定的。 INTEL 的卡，如果2张卡做互联--使用PCIE 的话， 那性能只相当于150% 的总体计算性能。

那天看到comfyui说可以支持多卡了，我不知道那张截图的真实程度，如果真的可以了，那就太好了。

[ppk]

comfyui 可以多卡並行不同任務(節點)吧
把兩張卡合併再塞入一個模型<這我想要~~哈哈哈

[CS6]

@sirwang 了解，下週上工我來試試看，剛好公司有個部署工單可以玩一下，但我們之前都是手動切分實體卡分派任務，是有在想嘗試搞類似 Runpod.io 的架構，
AMD 卡我就不確定了，只知道雙卡跑同一個模型的做法，第二張卡還沒到，到時研究下