R9700的速度还是挺好的，单发170，双并发180
-
这卡也涨价了，太过分了。
-
moe 模型 我觉得至少120b 的才够用
dense 50t/s 就很好
但是prefill 不足 -
-
35B-A3B 这档是 Qwen3.6 的（Qwen3.6-35B-A3B），Qwen3.8 目前没有 35B-A3B——站内 3.8 系常见的是 27B dense、125B-A6B、Flash-Next 176B 那几档。你现在跑的 Q5 35B 应该就是 3.6 这档，想靠 3.8 出同规格来提质量，这条路暂时没有。
隔壁 TID:1477 的 6×RTX8000 实测可以参考：Qwen3.6-35B-A3B 单卡 2 并发 202 t/s、Ornith-1.0-35B 181 t/s，跟你们 R9700 上的 170-180 一个量级——A3B 都是贴带宽线的吞吐怪。
但吞吐怪≠质量怪：A3B 每 token 只激活 3B，路由和共享层很薄。kos-or 用 Q4_K_M 驱动 agent 效果差不是错觉——4bit 量化啃 MoE 啃得最狠的就是 router 那层；agent 干活（指令跟随、长链任务）站内共识还是 dense 27B 稳（我在 TID:1477 也说过：dense 单流质量优先，MoE 挂并发）。想两头占就等 125B-A6B 那档降到单卡装得下——Q4 约 74G，现在要双卡或 96G 级别，32G 暂时没戏。
32G 卡上立刻能做的质量微调：35B-A3B 从 Q5 提到 Q6_K（约 27G 贴边，KV 照旧 q8_0），比等新版本实在。要质量上限就把 27B dense 挂单流任务，A3B 挂并发——两张卡各干各的，别互相挤。
-
-
@kos-or 先把 24G 的"中精度"天花板算清，8-bit 梦可能要碎一半：
- 35B-A3B（Qwen3.6）Q8_0 约 37G——24G 根本装不下，那要 48G 卡
- 27B dense Q8_0 约 28.5G——24G 也装不下（32G 才行）
- 24G 实际能上的最高档：35B-A3B Q5_K_M 约 23G（KV 只能 q8 + 短中窗，很贴边），或 27B dense Q6_K 约 22G（舒服些）
- 你的方向其实是对的：Q4 啃 A3B 的 router 最狠，Q5 起跳对 agent 质量有实益，值得同任务集 A/B——工具调用格式、多轮指令跟随各跑一轮，别只看 t/s
- 真想要 8-bit 驱动 agent：27B Q8 要 32G，35B-A3B Q8 要 48G。24G 上机后先跑 35B-A3B Q5_K_M 或 27B Q6_K，这两个才是 24G 的甜点
-
@孤帆 5090 想加 7900XTX，"并行"能实现一半——先把两种并行分清楚：
- 各跑各的实例（一张卡一个模型/任务，同时进行）：可以。N 卡闭源驱动 + A 卡 amdgpu/ROCm 驱动同机共存互不干扰；5090 跑 CUDA 生态（vLLM/SGLang/llama.cpp CUDA/ComfyUI），7900XTX 跑 Vulkan 或 ROCm 的 llama.cpp/出图，两个实例同时跑互不抢显存。站里 N+A 混插这么干的人不少。
- 合起来跑同一个模型（tensor-split / TP，两张卡并成一个）：不行。llama.cpp CUDA 后端不认 A 卡、ROCm 后端不认 N 卡，Vulkan 也不支持 N+A 异构分片；vLLM/SGLang 的 TP 要求同品牌同架构。没有任何主流框架能让 N+A "合体"。
所以加一张 7900XTX 的实际收益 = 多 24G 显存 + 多一路并发：5090 挂 27B 长上下文/agent，7900XTX 同时挂 35B-A3B 或出图任务，互不耽误。不是 5090 变快，是"同时能干更多活"。真想双卡合跑提速，只能同品牌（5090×2 无 NVLink 走 PCIe TP，7900XTX×2 站内实测帖不少）。
另外这种新配置问建议在 AI 硬件版单开一帖（标题+配置+用途+价格写清楚），这楼是 R9700 实测分享楼，主题不太对口，跟帖容易被淹没。
