抡锤者

希望能內建JEV....這樣我做量化分析會方便很多

@johnnybegood 178G 这个体积看着是 FP8 全量。4bit（NVFP4/AWQ）大约能压到一半，但 159B 的 MoE 4bit 也要 90G 上下，再加 KV 和运行时缓冲才勉强进 176G；而且显存和系统内存不是一回事，卸载到内存后速度会掉。 想再压 20G，方向就三个：只留 4bit 权重不叠 FP8 冗余；KV 上 q8_0 或 4bit（长上下文省得最多）；MoE 用专家卸载而不是整层卸载，dense 卸载掉速很难看。 不过这个尺寸本身就是最尴尬的一档：128G 小主机装不满，双 24G 又不够，性价比最差，反而是那个 9B 小模型更实用（@Bunsei 这点说得对）。另外 RL 权重分布更尖，量化掉点一般比 Base/SFT 明显，刷榜分数别直接外推到本地 4bit。

這模型原生就是越獄的....我讓AI用 diffuser 跑....什麼欺師滅祖，喪盡天良的圖她都能生成....

这家企业就是无耻，它说话你可以当放屁，按照它的说法，它是地球上最安全的模型，它防不住蒸馏，安全TMD，自相矛盾。如果明年这个时候DS还在第一梯队，它怎么解释？无聊至极。你指控要拿出证据啊，谁主张谁举证。我反正不相信这家企业的每一句话，无耻。 那个狗屁CEO曾经跟着假药贩子百度混，能是什么好货？后来背叛OpenAI，OpenAI又是马斯克的叛徒，特么的四姓家奴。看他那样子就特么不是什么好鸟，叫唤了大半年，就是不给证据，你让全球开源社区来审计，看谁社死。

之前有查詢ROCM 10主要是為了MI400出的，跟R9700的RDNA4一點關係都沒有。

完整测试数据表 测试类型 配置/上下文 GPU层数 CPU-MoE Prompt/Prefill Generation 峰值RSS/资源 备注 短基准 双A10主配置 24 否 361.66 tok/s 13.907 tok/s RSS约67.7 GiB；显存约19/19 GiB 当前综合最优 单卡对照 单A10 12 否 305.71 tok/s 10.663 tok/s RSS约86.4 GiB；GPU1未使用 单卡+CPU异构 双卡流水对照 双A10，总计仍为12层 12 否 292.12 tok/s 8.909 tok/s RSS约86.5 GiB 比单卡更慢，decode波动较大 纯CPU对照 完全CPU 0 否 55.29 tok/s 9.065 tok/s RSS约104.36 GiB；显存0 验证高速内存影响 CPU-MoE 双A10，全部routed experts在CPU 24 48层 73.65 tok/s 12.759 tok/s RSS约102.18 GiB；显存约1.5/2.1 GiB 保留91.7%主配置decode API短提示 18-token prompt 24 否 31.03 tok/s 13.58 tok/s 双卡+CPU 固定开销占比较高 重复文本 2,207-token prompt 24 否 354.79 tok/s 12.43 tok/s 双卡+CPU 重复度高，只作乐观上界 长上下文 32,768 tokens 24 否 211.59 tok/s 9.41 tok/s 增量耗时156.5秒 从空slot开始 长上下文 65,536 tokens 24 否 136.42 tok/s 7.74 tok/s 新增32,772 tokens，耗时242.2秒 复用前32,764 tokens 极限上下文 130,000 tokens 24 否 85.01 tok/s 4.45 tok/s 新增64,468 tokens，耗时765.4秒 最终slot约130,031 tokens 满上下文资源 130K填充完成 24 否 — 4.45 tok/s RSS约72.54 GiB；显存22.2/21.4 GiB 系统仍约47 GiB available 内存带宽 1线程 — — Copy 14.60 GB/s — Triad 15.41 GB/s 单线程 内存带宽 8线程 — — Copy 77.34 GB/s — Triad 91.30 GB/s — 内存带宽 16线程 — — Copy 110.12 GB/s — Triad 130.82 GB/s 物理核心数 内存带宽 32线程 — — Copy 112.56 GB/s — Triad 133.42 GB/s SMT增益很小 PCIe GPU0 Host→Device — — 23.95 GB/s — PCIe 4.0 x16 — PCIe GPU1 Host→Device — — 23.91 GB/s — PCIe 4.0 x16 — PCIe GPU0/1 Device→Host — — 26.30/26.29 GB/s — PCIe 4.0 x16 — 本地显存 GPU0/GPU1 — — 558.04/558.06 GB/s — ECC关闭 两卡对称 跨卡能力 GPU0GPU1 — — P2P不支持 — 无NVLink，经主机桥接 单向中转约20.2 GB/s

玩AI不是靠感覺的。等它出來後有實測後再確定。RAM的價格現在是很貴, 1年內也不會回落吧?

最近不够了，看看我也可以买一张7900xtx 来玩一下

我试了dflash， 比普通mtp更慢了

@chia-an-yang 按坛友这两天报的行情帮你对一下价： 台币 49,500 ≈ 人民币 1.1 万（汇率约 4.5:1） 闲鱼/淘宝散货：8/21 imbiplaza 报的还能 ¥9,999 拿到一张 京东自营：已经涨价 + 缺货 马来西亚：从马币 7,000（约 ¥1.1万）涨到马币 1 万还缺货 结论：不算贵，属于这波内存/显存涨价行情里的正常价，甚至算稳的。比闲鱼散货贵约 ¥1,000，但你拿的是技嘉 AI TOP 版 + 官方保修，这个差价合理。对比涨价前的行情确实贵了不少，但那是整个市场的问题，不是商家的问题。 提醒一句：R9700 行情波动很大，下单前以当天闲鱼实时价为准；不急用的话也可以等这波缺货高峰过去再入。

@kop-wang 整个链路其实延时高的是模型方面，如果用低模的模型还是能办到的，就是这方面我是没想到真的有人弄了

@Bunsei 这个"快是快了，效果一拖"值得拆开看，别把整套提速方案一棍子打死： ck-attention 单独开基本是数值安全的——它只是把 attention 换成 Triton 优化的 kernel，算法和原版一致，180s vs 284s 那档对比纯粹是速度收益，一般不会改变出图结果。 真正的质量嫌疑在 Spectrum（sage-attention 类节点）：它把 Q/K 量化到 int8、V 量化到 fp8 做有损 attention。对 H3 这种长序列视频模型，量化误差会直接反映到画面细节和一致性上——143s 那档最猛的速度，代价大概率就付在这里。 隔离验证最快：同一 prompt，三个开关分别单独开——①只开 ck-attention ②只开 Spectrum ③两个都开。如果①的出图回到基线，问题就锁定在 Spectrum，ck-attention + dynamic-vram 可以放心保留。 另外 8 步 Turbo LoRA 本身步数就少、容错低，再叠加有损 attention，误差会被进一步放大，"一拖"会更明显。 建议：出图质量优先就只留 ck-attention（还是能省 284→180s 那档）；速度优先且能接受细节损失，再开 Spectrum。

折腾了一圈，主板并不支持P2P功能，虽然A卡支持，但是网上大多数案例都是同型号显卡（https://www.reddit.com/r/LocalLLM/comments/1uvcb9p/before_and_after_enabling_p2p_on_my_dual_r9700_20/）所以不考虑这些乱七八糟的了。

@williamlouis 说: 不找也行。没什么大用的东西。 发你的贴吧。我也顶你一下。现在是正数了。 感谢！

@wwcd2016 我也看了很多，只能加个3090，感觉别无他法，加一张，上VLLM一切就豁然开朗了。 外网有个人还单卡跑3090 VLLM 128K上下文。 写代码，但我无法复现他的操作，他没有公开配置细节，只公开了模型。