单卡跑能装进 8G 的模型时，瓶颈是 HBM2e 带宽（约 1493 GB/s），不是 PCIe：加载慢是一次性的，decode 基本不吃 PCIe。真正吃 PCIe 的是多卡 TP/PP（每层都要卡间通信）和频繁换模型的场景。

要确认：lspci -vv 看显卡那行的 LnkSta（协商宽度/速率），nvidia-smi topo -m 看拓扑。另外 NUC 走 TB4 显卡坞，那条链路本身就相当于 PCIe 3.0 x4，卡那一端解锁也解不了坞这端。

一、CMP 170HX 的底子（决定它能干什么）

• GA100 核心（A100 同芯的阉割版），4480 CUDA，250W，无显示输出、无 NVENC/NVDEC。
• 8GB HBM2e、4096-bit、1493 GB/s 带宽。这点最值钱：带宽跟 A100 同档，比任何消费卡都高。也就是说——只要权重装得进显存，它的 decode 速度会很好看。
• 解锁是真事，但别按 64GB 做预算：CMPUnlocker（github.com/amoghmunikote/cmpunlocker）能恢复被固件/OTP 锁掉的 SM 算力和 HBM2e 完整几何（8GB 型号对应 64GB、10GB 型号对应 80GB），但公开反馈里只有 40GB 被确认跑通。按 40GB 规划，64GB 当彩蛋。
• 解锁环境：内核 ≥ 6.6 + 打过补丁的 610.43.03 驱动（文档路径是 Ubuntu 22.04 系 / HiveOS）。你在 NUC 上装 Ubuntu 先 uname -r 确认内核够新；解锁完跑一次显存带宽测试确认拿到的是真货，别只看 nvidia-smi 报的数字。

二、TB4 显卡坞是这套的真瓶颈，但不是你可能担心的那个方向

• TB4 隧道 = PCIe 3.0 x4，实际 3 GB/s 量级；卡自己的 HBM 是 1493 GB/s，差 500 倍。
• 推论一：权重必须全额常驻显存，绝对不能做 CPU offload。llama.cpp 的 -ngl 拉满，显存不够就退更小的模型或更低的量化，绝不要让它往主机内存溢——溢出去的那部分每 token 都要跨 TB4 走一遍，速度直接掉到个位数。
• 推论二：只要装得下，decode 完全不受 TB4 影响（计算在卡上闭环）。所以「NUC 当常驻推理机 + 台式机 Hermes 走 API 调它」这个架构没问题，2.5GbE 传 token 绰绰有余（280MB/s 对 JSON 是浪费）。唯一代价是加载慢：20GB 的 GGUF 走 3GB/s 大约 1-2 分钟，接受就行。

三、甜点模型（按解锁结果二选一）

• 解锁成功（按 40GB）：Qwen3.8-27B Q4/Q5（约 17-20GB）整只进卡 + 长上下文；或者 30B-A3B 一类 MoE Q4（约 18GB）配 100K+ 上下文。这就是这台机的甜点区，别去碰 70B。
• 解锁失败（8GB）：7-9B Q4/Q5（5-6GB），留 2GB 给 KV，16-32K 上下文很稳。8B 级别在 1493 GB/s 上会跑得非常快，正好匹配「24 小时待命小助手」这个定位。
• 一个提醒：GA100 没有 FP8，只有 FP16/BF16/INT8 tensor。量化走 Q4/Q5 GGUF 就行，别指望 MXFP4 那套 RDNA 玩法。

四、16G 内存要不要加到 32G
加，但不是为了速度。模型在显存里，系统内存只装 OS + runtime + KV，16G 勉强够；但 Ubuntu + Docker + 页面缓存 + 模型加载（mmap）在 16G 上容易换页，加到 32G 是最便宜的保险。顺便看一眼现在是不是单条 16G（单通道）——能用两条 16G 就别单条，CPU 侧（tokenize、采样）和以后跑容器都有区别。

五、几个会踩的坑，按概率排序

1. 供电：250W 的卡 + 169 刀的坞。便宜坞的常见问题是只给显卡 100-150W 或干脆没有 8pin——确认卡是从你那台 1000W 电源直接取电（坞上要有 PCIe 供电口），别靠坞自供。
2. 散热：CMP 是按矿机风道设计的，很多二手是裸板或缺风扇。250W 24/7 必须有风道/风扇，机箱进风 ≤25℃，否则它会自己降频，你测出来的速度会莫名其妙地低。
3. 接入：BIOS 开 Above 4G Decoding（能开 Resizable BAR 就开）；eGPU 首次接入要在 Linux 里授权（boltctl / 安全等级），否则 lspci 看得到却用不了。
4. 稳定性：eGPU 掉链路会让 CUDA 直接报错。跑常驻服务建议开 nvidia-persistenced、关 runtime PM、别让主机休眠。
5. 核显别浪费：210H 的核显可以用 Vulkan 跑小模型当第二条通道，需要轻活的时候不用占这张卡。