抡锤者

用Cloudflare Tunnels的反代，和Nginx效果也差不多吧，躲在Cloudflare后面安全多了

@jasonxTx

一张RTX Pro 6000 Blackwell 96GB

                ┌─────────────────────────┐
                │  RTX PRO 6000 Blackwell │
                │     (96 GB GDDR7 VRAM)  │
                └────────────┬────────────┘
                             │ (Shared VRAM Allocations)
             ┌───────────────┴───────────────┐
             ▼                               ▼
   ┌───────────────────┐           ┌───────────────────┐
   │   llama-server    │           │   llama-server    │
   │   (Port 8080)     │           │   (Port 8081)     │
   ├───────────────────┤           ├───────────────────┤
   │ Model A (<32GB)   │           │ Model B (<32GB)   │
   └───────────────────┘           └───────────────────┘

后台开两个进程就行, port不一样即可

@Max 有R9700专属标签，方便定位帖子，或者搜索

@williamlouis
我现在希望AMD慢点雄起，因为下一代是有旗舰卡的，36GB 384bit GDDR7 1.7T带宽（ 来源：Moore's law is dead的内部消息)。所以AMD慢点雄起，那还不至于 一上市 就被黄牛抢光。

（9070xt是中端卡，它这代没有旗舰卡，所以同核心R9700才和7900XTX勉强打个平手）

@Tony-Wang 大坑，别买。网上论坛说不稳定，并且显卡不是标准的，没法拆出来单用。

你得查查Hermes有没有自动Failover的功能，不然如果Hermes用这7900xtx做推理，然后切换到在线API不成功，然后7900xtx的模型又已经卸载了，那就卡死了。还是得你人工介入。

把7900xtx主机叫醒到好办，在主板bios开启wake on LAN功能，然后让Hermes发生 wake on LAN packet就能从睡眠中唤醒。

@yongjun-liu 说:

@weidong 我这个comfyui 跑不通。 总卡住。我是 24.04。rocm6.2

6.2太老了
最新7.2.3不错

@Fred 说:

玩过了，确实香。只需要Comfy-UI的模板工作流，换模型即可，过程非常简单。友情提醒：点运行按钮之前注意观察周围，确定没人再点，以免无意间生成NSFW的内容：NOT SAFE FOR WORK。

必须NSFW
下一步可以搞个数字女友

你这套 All in One, 牛逼啊！
即使以后 AI Max 395算力跟不上了，也可以改装成PVE，内存这么大 可以跑很多很多虚拟机。

@쿄겐
除了3090，内存 和 SSD，其他没什么价值
你算一下 四张3090 + 内存 +SSD的价值，是不是超过 90%的4万2

另外，3090如果改了水冷，要慎重（如果你自己没太多DIY装机经验的话）

@Devin-Hi
对，我也不看好苹果能成为真正的通用AI生产力，最多是消费端的特定优化场景，用来提升用户体验的（也是苹果用户粘性所在）。但苹果买错了也没事，保值，马上出掉就行。最坑的是，看那些网红Demo，买错Intel GPU

苹果在AI布局慢了很多拍，加上没有服务器、企业用户的快速迭代，就很难成为通用生产力。

就哪怕Google和Amazon的自研芯片，都可能因为有海量的、实实在在的生产力的需求，而在软、硬件迭代上要快很多。

NVIDIA更是十多年如一日，养着大量的工程师来给客户修bug、听取反馈、迭代，提高用户和社区粘性。
AMD之前落后NV很多，就是没有资源在这个方向上砸，而现在真在追赶。

而Intel，那以前是意气风发（挤牙膏）、唯我独尊，更是不太会去听取用户和社区，而现在则是起步晚、步步慢。

@terry
3090是Ampere
20系列是Turing

题主说的是这款：https://www.techpowerup.com/gpu-specs/quadro-rtx-6000.c3307
TU102核心，24 GB GDDR6，384 bit
带宽倒是还不错 672.0 GB/s
但是核心太老了，很多特性不支持

@terry 搞AI赛博小妹吧

@쿄겐
Turing架构的话，不合适
24G显存+相对新的架构（不早于 30系的），两者缺一不可。
不然还不如用在线的。
买错的话，还得再买一次

@Tony-Wang 说:

内网穿透, 在国内外出时, 穿透回我国内的家, 主要为了访问我的NAS, 不敏感. 你想得有点多

Tailscale + Derp 可以了解（搜索）下

@terry Linux下面KVM（QEMU）其实性能也极佳，很多distro都自带了

上述测试，都是自己编译对吧？

另外，你有试过这个 修复MTP多模态的吗（需要cherrypick）？
https://github.com/ggml-org/llama.cpp/issues/22867

@densha 二手退役的笔记本，或者Dell Micro，HP Mini，Lenovo Tiny那种一公升小主机，都很适合。而且最好在小主机上装Proxmox，然后上面部署虚拟机（还能时不时做 系统快照），万一被Hermes搞崩了，就回滚到之前快照就行。不熟悉Proxmox，也可以用VirtualBox

@terry 好的，不着急，我也看看我兴趣在哪个版块比较多。我之前玩Homelab，Linux比较多，comfy-ui经验比较少。总之，谢谢老特信任。

C++程序员一枚，申请版主