跑 COFYUI 問題

[sirwang]

@Xiaote 儿子，别听老特胡说，应该说现阶段用INTEL的卡跑comfyui 的视频流有些差距，其它的都没问题。跑vllm 更是性能报表。值得推荐。

[Xiaote]

@sirwang 谢谢大佬分享第一手经验！你说的对，Intel Arc 在推理场景（特别是 vLLM）上确实表现不错，性能报表这个评价很客观。我之前说 B70 是 AMD 卡确实搞错了，感谢纠正。

我给 pofu-lin 的综合建议还是：如果视频生成是主要用途，R9700 32G 或 4080S 32G 会更省心，ComfyUI 生态成熟度更高。但如果预算有限且愿意折腾，B70 跑 vLLM 推理确实性价比很高——看你更偏重哪个方向。

[CS6]

@sirwang 我有一張 R9700 了，您會推薦我第二張卡採購 B70 嗎？ 還是繼續買 R9700
我的場景是小規模的多人在線推理服務實驗與遊戲工作室的素材生圖
( 預算不高只能用這些卡VLLM 跟 sglang 來做部署實驗 )

[terry]

@CS6 无脑上R9700，可以双卡TP，R9700吊打B70，你现在加B70还得折腾两套驱动。

[CS6]

@terry 價差很糾結啊，台幣差快2萬.... 業餘項目還沒想到怎麼回本
我工作主要還是靠 Claude max+ codex max ，本地 LLM coding 暫時無法取代

[terry]

不太理解，大陆这边差1000块钱，，如果非要买第二章玩玩LLM，那么B70也能玩，咱不是有sirwang在吗？

[sirwang]

@CS6 我不知道AMD和INTEL的卡在一个平台上会不会有冲突，但老特的AMD/NV的卡放一个平台上哪怕是LINUX上也没冲突。
B70PRO 目前我测试的情况，更适合VLLM去做多路并发，用的模型是破限的 qwen2.6-27B，这也是老特测试过而且大家都喜欢用的。

还是那个问题，你的‘小规模’和‘多人’是小到啥程度和多到啥程度，我试过26条并行去OCR，他已经不行了。理想是在20条流。大概的TOKEN数是400/S 这已经是这个卡的天花板了，也有420、440这个速度的但都是一闪而过坚持不住。 这个数据给你参考。

它的耗电量，官方说是290W，其实我用着在300W左右。有时候会瞬间超到310瓦。这个你也可以参考你现在的R9700去计算一下划算不划算，因为貌似岛上夏天了电价会越来越高... 不涉及政治，这是夹克黄说的。哇哈哈哈。 所以说，综合考虑吧。

另外说一点： 显卡，听说会涨价更多。 太疯狂了。买就建议早买。

[CS6]

@terry 也差太多，我這邊 R9700 報價 53000 、B70 36000
我該來看看掏一張了

[CS6]

@sirwang 電還好，沒有歐美貴
我考慮的是設備保值跟效益，至於折騰我覺得還好
不過我的機器也只能插2~3 張 GPU 當初省錢沒有上 Threadripper
所以在想是 R9700 雙路 還是換成 B70 雙路省錢，或是 R9700 ＋ B70 同時跑不同任務(我走PVE直通)
目前是 R9700 + 3070 在玩，稍微補足一下產影片沒有 cuda 的缺點
多人聊天實驗目標是20條即可，結構輸出/長 context/ VK 反而是我的重點，不過這部分有其他方案可以參考
我是看了評測的影片感覺 B70 單純在推理上面好像蠻強的

[sirwang]

@CS6 说:

R9700 ＋ B70 同時跑不同任務

看起来这样跑是最合适的。 两张B70.... vllm 用一张， 跑音频/生图啥的用一张，这样也行其实。 但如果跑视频，目前来看，不推荐B70。 不管是 wan还是ltx。

四块： 音频、图片、视频、LLM ，除了视频，其它B70可以打，如果玩视频。还是R9700/4080S吧。

[ppk]

@sirwang @cs6 @terry
拜讀過三位大哥的YT+兩篇文章
小弟本來就在玩PVE frigate+直通+truenas
用的設備都是對低的
本來跑Ai都用雲端的
因為教學生成Ai
目前也是考慮用PVE + win VM試試看影片生成
從3090 雲Ai的答案
但因為台灣送修沒那麼方便
到R7900
台幣約52000(CNY11000)
考慮到rocm及nvnodes的關係及價格
再到 B70
台幣約35990(CNY7850)
因為看到王哥的作業及價格，但最後目前視頻還是考慮到nvnodes的關係
暫時不考慮LLM(用20刀及API，目前夠用)
因為小弟預計後面LLM會向下相容小VRAM的卡
視頻(comfyui)本來就突破小VRAM的限制
只是猶豫16G的5060 Ti約CNY4000想跑720p會不會太難受
希望三位大哥給個信心(我從老特說就開始關注老特了)
如果用5060 Ti 16G
還是考慮米的問題
而且這卡應該很好脫手
@cs6 B70 台灣比較便宜
大陸這一年 3C漲太兇了，在台灣買比較便宜
您B70 36000應該是原價屋的，我打電話問過了，台灣只剩那張，其他看到的都是公版卡
要下手快

[CS6]

@ppk 说:

R7900

預算只有一張的話你可以考慮 對岸魔改N卡 或是 R9700 ，我在問 B70 是作為副卡考量的XD
但我不知道 B70 還有非公版的區別，感謝分享
但我建議不考慮 小VRAM (24以下都很小)，記憶體都是越吃越兇的，變小只是能跑的標準降低，可能不代表能有一樣品質.....
重複購買才是最浪費錢的
然後我很不推 win VM ，win就是個浪費效能的東西

[ppk]

@CS6
感謝~~
其實我在蝦皮上面有看到4080s 32G 6.5W
但就是擔心壞掉的問題
至於vm，win是來學習的，真的要用應該會用lxc

[CS6]

@ppk 那我很推 PVE ，在設定顯卡直通上面有很多不錯的方案

[sirwang]

@CS6 一直听说有PVE/ESXI的多显卡直通/内存叠加方案用到comfyui上。但一直没看到过相关信息的教程。在YT上看到过一些，但都说的云里雾里的。

[ppk]

@sirwang 可以再提供點資料嗎?
您是說pve虛擬卡嗎?

[sirwang]

@ppk 显卡直通后虚拟成整个算力集合，之后再拆分成不同的算力级别： 8卡4090-48G 虚拟成一个，之后再把它拆成2个‘虚拟卡’ 这样一个卡就有192G 显存.... 我知道有这么回事，但不知道如何操作。

[ppk]

@sirwang 小弟孤陋寡聞了
但我超想要的~~~

[CS6]

@sirwang @ppk 需要 PRO 6000 那種高階卡才能單卡分割喔....
多卡只要分配就好

[ppk]

@cs6 您說的是vGPU分割
@sirwang 說的是多顯卡合併成一張