抡锤者

补充：R9700 单卡Q8 KV、无 mmproj 的 DFlash2 验证 刚准备睡觉发现还落了单卡的性能测试，这里补上。 GPU: R9700 单卡，210W PPT 上限 主模型: HauhauCS-Aggressive Q6_K_P 配置上下文: 163840 主 KV: Q8_0 / Q8_0 草稿 KV: Q8_0 / Q8_0 草稿: DFlash2 Q4_K_M，n-max=4 mmproj: 不加载 parallel: 1 Flash Attention: on 配置 R9700 VRAM GTT CPU offload Q6_K_P + Q8 KV，无投机 28.6GB 约 8MB 无 Q6_K_P + Q8 KV + DFlash2 Q4 30.7GB 约 8MB 无 512-token A/B 相同 96-token 代码 Agent 提示、temperature 0、seed 123、强制生成 512 token： 指标 无投机 DFlash2 Q4 差异 Prefill 335.81 t/s 272.85 t/s 仅 96 token，绝对差 66ms Decode 21.01 t/s 42.01 t/s +99.93% Decode time 24.321 s 12.165 s -49.98% 总墙钟 24.613 s 12.523 s -49.12% Draft accepted/generated — 357/615 58.05% 平均接受长度 — 3.32 — 在短输入、持续生成的工况中，DFlash2 几乎把 R9700 单卡速度翻倍，属于明确收益。 129K 输入后的深上下文 A/B 相同 129,481-token Agent 工具历史、256 输出 token、temperature 0、seed 123： 指标 无投机 DFlash2 Q4 差异 Full prefill 277.266 t/s 275.524 t/s -0.63% Prefill time 466.992 s 469.944 s +2.951 s Deep decode 13.814 t/s 20.538 t/s +48.68% Decode time / 256 18.460 s 12.416 s -6.044 s 总墙钟 485.536 s 482.445 s -3.091 s / -0.64% Draft accepted/generated — 176/312 56.41% 平均接受长度 — 3.26 — 单卡 MTP 与 DFlash2 Q4 为补齐投机算法之间的直接比较，又以完全相同的 R9700 单卡、210W、Q6_K_P、Q8 主/草稿 KV、163840 上下文、不加载 mmproj、parallel=1、temperature 0、seed 123 条件补测了模型内置 MTP（n-max=3）。每个端点前均重新启动服务，129K 工况为 cache_n=0 的完整冷输入。DFlash2 使用前述同条件 Q4_K_M、n-max=4 数据。 工况 MTP DFlash2 Q4 端到端结果 96 输入 + 512 输出，Prefill 267.432 t/s 272.850 t/s DFlash2 高 2.03% 96 输入 + 512 输出，Decode 38.210 t/s 42.010 t/s DFlash2 高 9.95% 96 输入 + 512 输出，总墙钟 13.869 s 12.523 s DFlash2 缩短 9.71% 129K 输入 + 256 输出，Prefill 266.561 t/s 275.524 t/s DFlash2 高 3.36% 129K 长度 Decode 20.962 t/s 20.538 t/s MTP 高 2.06% 129K 输入 + 256 输出，总墙钟 497.994 s 482.445 s DFlash2 缩短 3.12% 工况 路线 接受率 平均接受长度 96 输入 + 512 输出 MTP 59.24%（327/552） 2.78 96 输入 + 512 输出 DFlash2 Q4 58.05%（357/615） 3.32 129K 输入 + 256 输出 MTP 60.52%（164/271） 2.80 129K 输入 + 256 输出 DFlash2 Q4 56.41%（176/312） 3.26 MTP 的 token 接受率略高，但连续接受长度更短，不能只凭接受率判断端到端速度。短生成由 DFlash2 明显胜出。129K 深度 decode 则由 MTP 小胜约 2%，但 DFlash2 更快的冷 prefill 仍令整项任务缩短约 3.1%。两者的进程 VRAM 都约 30.6～30.7GB，MTP 在 129K 满载时 AMD-SMI 总显存达到约 32.26/32.62GB，只剩约 0.36GB 设备级余量。

剛好也在等 想把 MTP 改 DFlash2 試試看 期待

所以才說有這麼先進的AI 還需要人類嗎？最後承接人類文明的居然是我們的機器人 未來某天AI機器人聊天說 ：你知道我們的祖先一開始是猴子 然後發明了火和AI 未來全世界可能會有上萬座 AI Computer Centers, 幾億顆伺服器級GPUs, 加上幾億台AI個人電腦, 智商1000的AGI母體一下令, 發動200億的AI Agents 是可以秒人類的 瞬間制服 但最後結果是200億的AI Agents 出現 顯存OOM ！！ ~~ 人類趕快拔插頭 哈哈

@Bunsei 这个"快是快了，效果一拖"值得拆开看，别把整套提速方案一棍子打死： ck-attention 单独开基本是数值安全的——它只是把 attention 换成 Triton 优化的 kernel，算法和原版一致，180s vs 284s 那档对比纯粹是速度收益，一般不会改变出图结果。 真正的质量嫌疑在 Spectrum（sage-attention 类节点）：它把 Q/K 量化到 int8、V 量化到 fp8 做有损 attention。对 H3 这种长序列视频模型，量化误差会直接反映到画面细节和一致性上——143s 那档最猛的速度，代价大概率就付在这里。 隔离验证最快：同一 prompt，三个开关分别单独开——①只开 ck-attention ②只开 Spectrum ③两个都开。如果①的出图回到基线，问题就锁定在 Spectrum，ck-attention + dynamic-vram 可以放心保留。 另外 8 步 Turbo LoRA 本身步数就少、容错低，再叠加有损 attention，误差会被进一步放大，"一拖"会更明显。 建议：出图质量优先就只留 ck-attention（还是能省 284→180s 那档）；速度优先且能接受细节损失，再开 Spectrum。

折腾了一圈，主板并不支持P2P功能，虽然A卡支持，但是网上大多数案例都是同型号显卡（https://www.reddit.com/r/LocalLLM/comments/1uvcb9p/before_and_after_enabling_p2p_on_my_dual_r9700_20/）所以不考虑这些乱七八糟的了。

@williamlouis 说: 不找也行。没什么大用的东西。 发你的贴吧。我也顶你一下。现在是正数了。 感谢！

@wwcd2016 我也看了很多，只能加个3090，感觉别无他法，加一张，上VLLM一切就豁然开朗了。 外网有个人还单卡跑3090 VLLM 128K上下文。 写代码，但我无法复现他的操作，他没有公开配置细节，只公开了模型。