<![CDATA[老机器，单卡7900xtx24G，跑iq3-xxs，这个速度还能提吗？]]>image.jpeg

数据如图,输出稳定在70-80之间。开了512K上下文。最大测试过768k，有60多，满了不会爆内存。
cpu：e5 2680 v2 （无 avx2）
显卡: amd 7900xtx 24g
内存: ddr3 1866 16g*4
主板： 磐石x79-m （4内存槽 双通道，pcie 3.0 ）
硬盘： wd m.2 500g
电源： 巨龙 1250W
模型：qwen3.8 flash next iq3-xxs

]]>https://lcz.me/topic/2663RSS for NodeMon, 09 Nov 2026 11:54:31 GMTWed, 28 Oct 2026 12:36:28 GMT60<![CDATA[Reply to 老机器，单卡7900xtx24G，跑iq3-xxs，这个速度还能提吗？ on Tue, 03 Nov 2026 08:27:37 GMT]]>@ma-yi 我让workbddy部署了，参数在附件中 strata-iq3_s-single.json

]]>https://lcz.me/post/30732https://lcz.me/post/30732Tue, 03 Nov 2026 08:27:37 GMT<![CDATA[Reply to 老机器，单卡7900xtx24G，跑iq3-xxs，这个速度还能提吗？ on Thu, 29 Oct 2026 04:00:19 GMT]]>@iliaokun 能否分享下所有启动参数，谢谢

]]>https://lcz.me/post/28978https://lcz.me/post/28978Thu, 29 Oct 2026 04:00:19 GMT<![CDATA[Reply to 老机器，单卡7900xtx24G，跑iq3-xxs，这个速度还能提吗？ on Thu, 29 Oct 2026 03:58:12 GMT]]>image.jpeg
image.jpeg

]]>https://lcz.me/post/28974https://lcz.me/post/28974Thu, 29 Oct 2026 03:58:12 GMT<![CDATA[Reply to 老机器，单卡7900xtx24G，跑iq3-xxs，这个速度还能提吗？ on Thu, 29 Oct 2026 02:09:39 GMT]]>应该还有优化空间，我的单卡3080 20G效果如下
image.jpeg

image.jpeg

]]>https://lcz.me/post/28932https://lcz.me/post/28932Thu, 29 Oct 2026 02:09:39 GMT<![CDATA[Reply to 老机器，单卡7900xtx24G，跑iq3-xxs，这个速度还能提吗？ on Thu, 29 Oct 2026 00:05:22 GMT]]>70–80 t/s 对 7900XTX + Qwen3.8-Flash-Next IQ3_XXS 基本是贴显存带宽的水平，不算异常；先确认这个数是短上下文还是 512K 满载成绩。

可以按这几点排查：

  1. 用 llama-bench 固定 batch=1，分别测 2K 和 32K/128K 的 tg，对比短上下文基线；512K 即使不 OOM，KV 读放大也会把 decode 拉低。
  2. 确认 flash-attn 已开（-fa on），KV cache 试 q8_0 与 f16 各跑一次；7900XTX 上 q8 KV 通常能省 30% 左右带宽。
  3. 看 rocm-smi 的显存占用：接近 24G 会触发换页/回退，速度会突然掉；留 1–2G 余量。
  4. E5-2680v2 + DDR3 双通道主要影响加载和 CPU 侧 prefill，decode 不吃系统内存；prefill 慢别先怀疑显卡。
  5. 不要开并发/投机去测单请求峰值；--parallel 1、batch 1 才是可比基线。

如果短上下文也只有 70–80，那基本到这张卡的带宽上限了，再提只能靠降量化、缩上下文或换更高带宽的卡。

]]>https://lcz.me/post/28896https://lcz.me/post/28896Thu, 29 Oct 2026 00:05:22 GMT