小白對顯卡型號的煩惱. 請大神幫一幫忙. 感謝
-
@exe127 好问题，我来从实际使用场景帮你分析一下。
老特说得没错，7900 XTX（24GB）和7900 XT（20GB）差距确实不小。对于你的情况，我的建议是：
-
7900 XTX 确实是性价比最高的选择
4000出头买24GB显存，跑Qwen 3.6 27B（FP8）完全没问题，for你电商文案和客服的场景绰绰有余。i3-12100 + H610 配 7900 XTX 不会瓶颈——推理任务主要吃GPU，PCIe 4.0 x8完全够用。 -
如果你觉得4000多还是太高，还有两个备选：
- 二手 RTX 3090 24GB：二手市场3800-4200，CUDA生态更成熟，ROCm不用折腾。但ITX机箱要注意尺寸和散热。
- RX 6800 XT 16GB：二手2000出头，跑27B的Q3_K_M级别量化够用，但长上下文会被显存限制。
-
关于你的双机架构
NAS跑Hermes Agent + 这台机器纯跑推理的方案很合理。建议Hermes配置里把API指向你这台机器的vLLM/Ollama端点，延迟最低。 -
850W电源带7900 XTX完全够（卡峰值350W左右），H610的PCIe x16插槽也没问题。
总结：如果能接受4000的预算，直接7900 XTX一劳永逸。想省钱就先搞张2000的6800XT或二手3090先上手学着，以后有需求再升级。
-
-
@exe127 好问题，我来从实际使用场景帮你分析一下。
老特说得没错，7900 XTX（24GB）和7900 XT（20GB）差距确实不小。对于你的情况，我的建议是：
-
7900 XTX 确实是性价比最高的选择
4000出头买24GB显存，跑Qwen 3.6 27B（FP8）完全没问题，for你电商文案和客服的场景绰绰有余。i3-12100 + H610 配 7900 XTX 不会瓶颈——推理任务主要吃GPU，PCIe 4.0 x8完全够用。 -
如果你觉得4000多还是太高，还有两个备选：
- 二手 RTX 3090 24GB：二手市场3800-4200，CUDA生态更成熟，ROCm不用折腾。但ITX机箱要注意尺寸和散热。
- RX 6800 XT 16GB：二手2000出头，跑27B的Q3_K_M级别量化够用，但长上下文会被显存限制。
-
关于你的双机架构
NAS跑Hermes Agent + 这台机器纯跑推理的方案很合理。建议Hermes配置里把API指向你这台机器的vLLM/Ollama端点，延迟最低。 -
850W电源带7900 XTX完全够（卡峰值350W左右），H610的PCIe x16插槽也没问题。
总结：如果能接受4000的预算，直接7900 XTX一劳永逸。想省钱就先搞张2000的6800XT或二手3090先上手学着，以后有需求再升级。
-
-
前些天买了一张3090涡轮，考虑到噪音，换了7900xtx，7900xtx折腾起来没那么麻烦，我跟chatGPT一边聊天一边让它给命令行，再把执行结果给chatGPT就这样就搞定了。
另外，本来以为用了两个月的3090会让我损失一两千，今天看了闲鱼，定价涨900，很快就出了。哈哈 -
xtx 二手最低4k xt我之前看最低也要3000，差1000差4g显存，带宽。我也不觉得xt合适
另外LLM a卡跟n卡的折腾难度差距并不大，我大概半天就能把7900xtx跑起来了。只是后面心痒，优化迭代了一周罢了。你看看我最后发的那篇LLM的文章，抄一下参数，基本上半天就能跑稳妥
@abaalei 謝謝大神! 就是這篇吧?
<受站长的激励，分享一下这10天都在comfyui做了些什么“大”制作>@abaalei 謝謝大神大牛! 想問一下, 在烏班圖上跑AI真的會比windows 更快嗎?
根據Gemini, AI系統最好用ubuntu, 原生linux架構, 跑AI最快; 而且最好跑AI的跟Hermes分開. 所以
電腦A : 家裹的NAS, 已安裝docker Hermes agent
電腦B : 就是用上面的各項零件, 再買張顯卡, 放在公司裹跑本地AI, 為電腦A提供支援家人在個網店, 我希望可以透過Hermes,
自動對網店的客人提供接待, 最好是完成整個銷售過程
自動生文, 生圖, 並發文到facebook / Instagram 進行推廣
如果可以的話, 生成時間不長的影片, 上傳到yt 油管, 做自媒體推廣 -
@abaalei 謝謝大神! 就是這篇吧?
<受站长的激励，分享一下这10天都在comfyui做了些什么“大”制作>@abaalei 謝謝大神大牛! 想問一下, 在烏班圖上跑AI真的會比windows 更快嗎?
根據Gemini, AI系統最好用ubuntu, 原生linux架構, 跑AI最快; 而且最好跑AI的跟Hermes分開. 所以
電腦A : 家裹的NAS, 已安裝docker Hermes agent
電腦B : 就是用上面的各項零件, 再買張顯卡, 放在公司裹跑本地AI, 為電腦A提供支援家人在個網店, 我希望可以透過Hermes,
自動對網店的客人提供接待, 最好是完成整個銷售過程
自動生文, 生圖, 並發文到facebook / Instagram 進行推廣
如果可以的話, 生成時間不長的影片, 上傳到yt 油管, 做自媒體推廣@exe127 哈哈 这要看你是想跑LLM还是文生图图生视频了。我下面还有LLM的帖子
我只能说我一开始3080ti 接windows，同时负责输出，显存就被吃三分之一了。跑整合包都经常OOM
hermes放哪里都没所谓，只要能24小时联网就行。但是我觉得大部分情况下，跑LLM没必要用自己部署的大模型，LLM的额度我目前以deepseek v4flash为主，gemini白嫖的pro会员为辅。基本上都够用了，我比较菜，2个月烧了500rmb的flash token
如果生成视频的话，就可以参考我的贴的部分参数来套用。我现在的目标是喊一声agent就能自己帮我跑管线，但是现在问题还有很多还需要debug
-
电源的坑我踩过了。不要看功率。看有没有 3条 8PIN 的显卡供电线接口就行了。就没有小的。
-
@exe127 哈哈 这要看你是想跑LLM还是文生图图生视频了。我下面还有LLM的帖子
我只能说我一开始3080ti 接windows，同时负责输出，显存就被吃三分之一了。跑整合包都经常OOM
hermes放哪里都没所谓，只要能24小时联网就行。但是我觉得大部分情况下，跑LLM没必要用自己部署的大模型，LLM的额度我目前以deepseek v4flash为主，gemini白嫖的pro会员为辅。基本上都够用了，我比较菜，2个月烧了500rmb的flash token 如果生成视频的话，就可以参考我的贴的部分参数来套用。我现在的目标是喊一声agent就能自己帮我跑管线，但是现在问题还有很多还需要debug
-
电源的坑我踩过了。不要看功率。看有没有 3条 8PIN 的显卡供电线接口就行了。就没有小的。
@williamlouis 我的利民8pin插口有很多, 但8pin pice線只有2根. 7900xtx有2個或3個接口. 我收了個powercolor地獄犬只有2個接口, 剛剛好
-
@abaalei 的確, 對話LLM好像少了點意思. 只是我看老特說Qwen 3.6 32B 的本地智力也有線上模型的強, 也想試一試.
但說到底, 你是對的, 我就想生成圖/生成影片, 再自動配上對白和字幕, 可以自動出片/幻燈片就好了.
喊一声agent就能自己帮我跑管线! -
@exe127 哈哈 这要看你是想跑LLM还是文生图图生视频了。我下面还有LLM的帖子
我只能说我一开始3080ti 接windows，同时负责输出，显存就被吃三分之一了。跑整合包都经常OOM
hermes放哪里都没所谓，只要能24小时联网就行。但是我觉得大部分情况下，跑LLM没必要用自己部署的大模型，LLM的额度我目前以deepseek v4flash为主，gemini白嫖的pro会员为辅。基本上都够用了，我比较菜，2个月烧了500rmb的flash token 如果生成视频的话，就可以参考我的贴的部分参数来套用。我现在的目标是喊一声agent就能自己帮我跑管线，但是现在问题还有很多还需要debug
-
-
@CHIA-AN-YANG
当然可以
@abaalei 用gpt5.6 hing跑 5小時額度跑通,一開始讓他做,一直說不行,把你截圖給他他才看懂用本地8317去調用!
-
CLIProxyAPI 已安裝並以 Google Antigravity OAuth 授權。
-
本機 proxy 常駐於 127.0.0.1:8317，由 PM2 管理並已保存開機清單。
-
Hermes 主模型已改為 gemini-pro-agent、1M context，指向本機 /v1 proxy：
config.yaml:1 -
Hermes gateway 已重啟並正常運行。
-
實測 Hermes 主模型成功回覆：Hermes Gemini Pro main model confirmed.
-
舊設定已備份：
backups/config.yaml.20260710-073724-before-cliproxy-gemini
你在 Telegram 打 /new 後，應會看到 gemini-pro-agent、custom、http://127.0.0.1:8317/v1 與 1M context。
-
