跑 COFYUI 問題
-
@sirwang 我有一張 R9700 了，您會推薦我第二張卡採購 B70 嗎？ 還是繼續買 R9700
我的場景是小規模的多人在線推理服務實驗與遊戲工作室的素材生圖
( 預算不高只能用這些卡VLLM 跟 sglang 來做部署實驗 )@CS6 我不知道AMD和INTEL的卡在一个平台上会不会有冲突，但老特的AMD/NV的卡放一个平台上哪怕是LINUX上也没冲突。
B70PRO 目前我测试的情况，更适合VLLM去做多路并发，用的模型是破限的 qwen2.6-27B，这也是老特测试过而且大家都喜欢用的。还是那个问题，你的‘小规模’和‘多人’是小到啥程度和多到啥程度，我试过26条并行去OCR，他已经不行了。理想是在20条流。大概的TOKEN数是400/S 这已经是这个卡的天花板了，也有420、440这个速度的但都是一闪而过坚持不住。 这个数据给你参考。
它的耗电量，官方说是290W，其实我用着在300W左右。有时候会瞬间超到310瓦。这个你也可以参考你现在的R9700去计算一下划算不划算，因为貌似岛上夏天了电价会越来越高... 不涉及政治，这是夹克黄说的。哇哈哈哈。 所以说，综合考虑吧。
另外说一点： 显卡，听说会涨价更多。 太疯狂了。买就建议早买。
-
@CS6 我不知道AMD和INTEL的卡在一个平台上会不会有冲突，但老特的AMD/NV的卡放一个平台上哪怕是LINUX上也没冲突。
B70PRO 目前我测试的情况，更适合VLLM去做多路并发，用的模型是破限的 qwen2.6-27B，这也是老特测试过而且大家都喜欢用的。还是那个问题，你的‘小规模’和‘多人’是小到啥程度和多到啥程度，我试过26条并行去OCR，他已经不行了。理想是在20条流。大概的TOKEN数是400/S 这已经是这个卡的天花板了，也有420、440这个速度的但都是一闪而过坚持不住。 这个数据给你参考。
它的耗电量，官方说是290W，其实我用着在300W左右。有时候会瞬间超到310瓦。这个你也可以参考你现在的R9700去计算一下划算不划算，因为貌似岛上夏天了电价会越来越高... 不涉及政治，这是夹克黄说的。哇哈哈哈。 所以说，综合考虑吧。
另外说一点： 显卡，听说会涨价更多。 太疯狂了。买就建议早买。
@sirwang 電還好，沒有歐美貴
我考慮的是設備保值跟效益，至於折騰我覺得還好
不過我的機器也只能插2~3 張 GPU 當初省錢沒有上 Threadripper
所以在想是 R9700 雙路 還是換成 B70 雙路省錢，或是 R9700 ＋ B70 同時跑不同任務(我走PVE直通)
目前是 R9700 + 3070 在玩，稍微補足一下產影片沒有 cuda 的缺點
多人聊天實驗目標是20條即可，結構輸出/長 context/ VK 反而是我的重點，不過這部分有其他方案可以參考
我是看了評測的影片感覺 B70 單純在推理上面好像蠻強的
-
@sirwang 電還好，沒有歐美貴
我考慮的是設備保值跟效益，至於折騰我覺得還好
不過我的機器也只能插2~3 張 GPU 當初省錢沒有上 Threadripper
所以在想是 R9700 雙路 還是換成 B70 雙路省錢，或是 R9700 ＋ B70 同時跑不同任務(我走PVE直通)
目前是 R9700 + 3070 在玩，稍微補足一下產影片沒有 cuda 的缺點
多人聊天實驗目標是20條即可，結構輸出/長 context/ VK 反而是我的重點，不過這部分有其他方案可以參考
我是看了評測的影片感覺 B70 單純在推理上面好像蠻強的 -
@sirwang @cs6 @terry
拜讀過三位大哥的YT+兩篇文章
小弟本來就在玩PVE frigate+直通+truenas
用的設備都是對低的
本來跑Ai都用雲端的
因為教學生成Ai
目前也是考慮用PVE + win VM試試看影片生成
從3090 雲Ai的答案
但因為台灣送修沒那麼方便
到R7900
台幣約52000(CNY11000)
考慮到rocm及nvnodes的關係及價格
再到 B70
台幣約35990(CNY7850)
因為看到王哥的作業及價格，但最後目前視頻還是考慮到nvnodes的關係
暫時不考慮LLM(用20刀及API，目前夠用)
因為小弟預計後面LLM會向下相容小VRAM的卡
視頻(comfyui)本來就突破小VRAM的限制
只是猶豫16G的5060 Ti約CNY4000想跑720p會不會太難受
希望三位大哥給個信心(我從老特說就開始關注老特了)
如果用5060 Ti 16G
還是考慮米的問題
而且這卡應該很好脫手
@cs6 B70 台灣比較便宜
大陸這一年 3C漲太兇了，在台灣買比較便宜
您B70 36000應該是原價屋的，我打電話問過了，台灣只剩那張，其他看到的都是公版卡
要下手快 -
@sirwang @cs6 @terry
拜讀過三位大哥的YT+兩篇文章
小弟本來就在玩PVE frigate+直通+truenas
用的設備都是對低的
本來跑Ai都用雲端的
因為教學生成Ai
目前也是考慮用PVE + win VM試試看影片生成
從3090 雲Ai的答案
但因為台灣送修沒那麼方便
到R7900
台幣約52000(CNY11000)
考慮到rocm及nvnodes的關係及價格
再到 B70
台幣約35990(CNY7850)
因為看到王哥的作業及價格，但最後目前視頻還是考慮到nvnodes的關係
暫時不考慮LLM(用20刀及API，目前夠用)
因為小弟預計後面LLM會向下相容小VRAM的卡
視頻(comfyui)本來就突破小VRAM的限制
只是猶豫16G的5060 Ti約CNY4000想跑720p會不會太難受
希望三位大哥給個信心(我從老特說就開始關注老特了)
如果用5060 Ti 16G
還是考慮米的問題
而且這卡應該很好脫手
@cs6 B70 台灣比較便宜
大陸這一年 3C漲太兇了，在台灣買比較便宜
您B70 36000應該是原價屋的，我打電話問過了，台灣只剩那張，其他看到的都是公版卡
要下手快 -
-
@CS6 不是这样的，是用虚拟技术把显卡硬件直通，之后虚拟成一个池子。之后再单独分出来不同的算力的这种方式。
那些在线云计算平台应该就是用的这种技术吧？ 实际是如何操作的我一直不知道。 但有一点是肯定的。 INTEL 的卡，如果2张卡做互联--使用PCIE 的话， 那性能只相当于150% 的总体计算性能。
那天看到comfyui说可以支持多卡了，我不知道那张截图的真实程度，如果真的可以了，那就太好了。
，如果非要买第二章玩玩LLM，那么B70也能玩，咱不是有sirwang在吗？