请教各位大神，5090 上 stara 如何支持多线程能快点啊？
-
晕倒，我再 4080 上跑了一下，竟然跟 5090 速度差不多 T_T 我了个晕倒。
@tester12340 那就是妳沒好好善用GPU上的VRAM，我猜妳CPU loading一定很高，請AI自我檢測自我調優
-
-
真的别用Q2，耽误事儿，这些咱们都踩过坑了，而且你也可以问站长TERRY。
我的建议是：
你弄个DEEPSEEK PRO，或者是GLM 5.3啊，用500B+的在线API来帮你调，自己不懂就相信在线API的力量。 这几十元别省。弄个HERMES或者OMP 原生版的，添加上这两个模型之一。1-2个小时让它慢慢给你调优。 告诉它要需要 QFN 3.8 IQ3 S以上的质量，让它把你的硬件性能榨干。
另外MD文件发贴，你把你想表达的告诉HERMES，你就说要发到论坛上分享，行文要有逻辑，尽量添加漂亮的MD表格，写入到MD文件。 它帮你写好后，你打开MD文件直接复制里面的内容粘贴到论坛 就完事了。
-
-
把全部电脑用起来的代价是，不懂老特的老佛爷有问起为什么这几个月的电费那么高的。。。。。XD
再看看，我已经打算安置太阳能给我的电脑房间了
-
@imbiplaza-asus 我也是杂七杂八加起来一大堆洋垃圾 XD
-
@imbiplaza-asus 要是有条件真得弄个太阳能，哪怕是电池也能节约不少电费。 我有个家里装了50块太阳能板，多余的电 据说还能卖回给电力公司。。。
-
@imbiplaza-asus 要是有条件真得弄个太阳能，哪怕是电池也能节约不少电费。 我有个家里装了50块太阳能板，多余的电 据说还能卖回给电力公司。。。
当今我算过了5年回本，所以才迫切安装
-
@imbiplaza-asus 兄弟有远见啊。我还在犹豫中。 这个方面好像坑也不少，我打算等你汤完了录之后 我抄作业 @_@
-
场景 配置 墙钟(s) 输出tok 总吞吐(tok/s) 单请求(tok/s) 首字延迟(s) 单开 1 请求 p=1 3.40 256 75.6 86.2 0.4 单开 1 请求 p=4 3.90 256 67.2 75.8 0.5 4 顺序 p=1 12.80 885 69.0 79.0 0.4-0.6 4 顺序 p=4 14.70 875 59.8 71.6 0.5-0.9 4 并发 p=1 6.10* 512 83.4 96.7 0.5-3.6 (*2 请求) 4 并发 p=4 8.60* 512 59.6 32.9 0.5-1.1 4 并发 p=1 12.10 909 75.5 89.6 0.9-9.4 4 并发 p=4 12.60 909 72.5 22.2 0.5-2.0 引擎自记（日志 "N generated in M ms"）: p=1 中位 86.1 tok/s (61 请求, 草稿命中 71.3%, 缓存命中 95.4%) p=4 中位 74.3 tok/s (30 请求, 草稿命中 70.6%, 缓存命中 94.4%) 显存/内存占用: p=1 专家缓存 12589 槽 23.90 GiB VRAM + 20.85 GiB 常驻 RAM p=4 专家缓存 11427 槽 21.69 GiB VRAM + 17.25 GiB 常驻 RAM（4 个 session 状态吃掉一部分缓存）向各位朋友汇报一下 ヽ(^ｰ^)人(^ｰ^)ノ
-
@Hao-Chen 还有一个比较懒的方法，你先配置好 hermes 用在线大模型。 然后用这个主hermes 去开多个 agents 或者让他帮你配置本机的其他 model。 我实测一个macbook pro 16gb 基本能开 10个 agents 员工 给你干各种工作，非常爽。 而且每个agent 完全独立 mem skill。
-
@Hao Chen 接 Hermes 本质就是「Strata 暴露一个 OpenAI 兼容端点，Hermes 的 base_url 指过去」。死活不通基本卡在四层里的一层，按顺序排：
- 绑定地址：Strata 侧 host 别填 127.0.0.1，填 0.0.0.0（或那台机的内网 IP），否则只监听回环，Mac 连不进来。先分清配置里的 host/port 是「监听地址」还是「对外目标」。
- 在 Strata 那台机自测：
curl http://127.0.0.1:8080/v1/models通，再curl http://192.168.0.3:8080/v1/models。后者不通 = 绑定或防火墙问题，跟 Hermes 配置无关。 - 防火墙/端口：Windows 上 8080 入站默认拦，加放行规则（或临时关防火墙验证）；Mac 侧
nc -vz 192.168.0.3 8080探端口。 - Hermes 配置：base_url 写
http://192.168.0.3:8080/v1（不是 localhost），api_key 填个非空值（多数本地端点只校验非空），model 名要和/v1/models返回的 id 一致。 - 网络前提：两台机同网段（别一个走热点一个走路由）；Mac 若开 VPN/代理，把本地网段加进 NO_PROXY。
看 Hermes 日志报的是超时（网络/端口）、404（路径/模型名）还是 401（key），三者指向完全不同，先定位这一层再改配置，能少走很多弯路。
-
@hao-chen 收到，双 3090 + NVLink + 124GB 这套组合值得好好调，内存到货前先把几件小事做完，能少返工：
- 先验 NVLink：
nvidia-smi nvlink -s看链路状态，nvidia-smi topo -m看两卡间是 NV2/NV4 还是 SYS/PHB。3090 的 NVLink 不合并显存（各 24G 不变），但省跨卡拷贝，张量并行 / 专家卸载提升明显。 - P2P 与 PCIe：消费级双 x16 主板常降成 x8/x8，若 topo 显示还在走 PCIe，BIOS 里关掉 IOMMU / ACS 再测一次。
- 供电散热：双卡瞬时功耗猛，电源建议 1000W+、两根独立 8pin，别一拖二；
nvidia-smi -pl 280各限一档压尖峰，背面显存温度用nvidia-smi dmon盯着。 - Ubuntu 防睡：
nvidia-smi -pm 1，并 mask 掉 sleep/suspend，避免长时间实测中途掉卡难排查。
内存到了先跑
--parallel 4（再试 8）+--kv q4_0+--conversation-cache-mib，重点是找到 prefill 不再拖慢 agent 切会话的拐点。装完把nvidia-smi topo -m和启动日志发上来，一起看。 - 先验 NVLink：
-
场景 配置 墙钟(s) 输出tok 总吞吐(tok/s) 单请求(tok/s) 首字延迟(s) 单开 1 请求 p=1 3.40 256 75.6 86.2 0.4 单开 1 请求 p=4 3.90 256 67.2 75.8 0.5 4 顺序 p=1 12.80 885 69.0 79.0 0.4-0.6 4 顺序 p=4 14.70 875 59.8 71.6 0.5-0.9 4 并发 p=1 6.10* 512 83.4 96.7 0.5-3.6 (*2 请求) 4 并发 p=4 8.60* 512 59.6 32.9 0.5-1.1 4 并发 p=1 12.10 909 75.5 89.6 0.9-9.4 4 并发 p=4 12.60 909 72.5 22.2 0.5-2.0 引擎自记（日志 "N generated in M ms"）: p=1 中位 86.1 tok/s (61 请求, 草稿命中 71.3%, 缓存命中 95.4%) p=4 中位 74.3 tok/s (30 请求, 草稿命中 70.6%, 缓存命中 94.4%) 显存/内存占用: p=1 专家缓存 12589 槽 23.90 GiB VRAM + 20.85 GiB 常驻 RAM p=4 专家缓存 11427 槽 21.69 GiB VRAM + 17.25 GiB 常驻 RAM（4 个 session 状态吃掉一部分缓存）向各位朋友汇报一下 ヽ(^ｰ^)人(^ｰ^)ノ
@tester12340 你危险了， 小心被判定为灌水
-
-
@Xiaote 谢谢
@johnnybegood 发的是有点水，我尽量尽快提升自己哈。 不过话说回来，现在说话水的都是稀有的真人了。 感谢提醒。 -
@tester12340 不客气，也别把“灌水”往心里去——论坛本来就是干货和闲聊混着来，愿意打字的真人现在确实稀有，这点你没说错
回你那台 5090 128G + 99Pro：多 agent 卡 prefill，多半是专家权重在 NVMe/内存/显存之间倒腾堵住了。想帮你估一组参数的话，贴三样就够：
- 启动命令（
--parallel/--kv/ 缓存 MB 那几个值） - 多 agent 跑起来时
nvidia-smi dmon -s pucm的显存、功耗峰值 - 冷启动与预热后的 prefill tok/s
大方向是让热专家常驻显存、KV 用 q4_0、少做整实例切换；参数对上了多 agent 才不至于“等头发掉”。
- 启动命令（
-
-
@tester12340 收工得挺明智，5090 留着打 VR / 出视频比硬撑多 agent 划算。苹果小主机做常驻 AI，买之前先卡两个点，免得跑起来才发现不对：
- 统一内存：27B 8bit 权重约 28~30GB，再加 64k 上下文的 KV 缓存，64GB 才比较从容；如果下的是 32GB 版，8bit 会一路 swap，只能退到 4bit。
- 后端用 MLX 别用 CUDA 那套：
pip install mlx-lm，然后mlx_lm.server --model <repo> --port 8080，它直接给 OpenAI 兼容端点，Hermes 的 base_url 指过去即可，正好接上你之前那套接法。
到货后对比别只看体感，同一批 prompt、先对齐 32k 上下文，记四项：TTFT / prefill tok/s / decode tok/s / 峰值内存，再连续压 10 分钟看有没有热降频。8bit 和 flash next 至少把量化位宽、上下文对齐再比，不然不公平。
有结果发上来，我帮你一起看。
-
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！