抡锤者

@yi-song 兄弟提供一下配置参数。谢谢。

E5 V4 cpu搭配DDR3 内存。最省+性能方案

@ka-ka 你这个是 4R×4 的吧？2R×4 的要 1000 以上。Xeon E52696v3不能用 DDR4。E52696V4 反而能用 DDR3。

论坛不是有DDR3 128G 1000rmb到手的嘛。之前的垃圾佬都喜欢插满。现在成了香饽饽。可惜自己之前不是垃圾佬。呵呵呵

@imbiplaza-ASUS同感。所以该下手赶紧。只要QFN还开源，就会继续支撑价格。想起蛋疼5月份32G 的才600/条

@imbiplaza-ASUS 我的现在64G内存也在跑IQ3_S.今晚头脑发热在想升级内存的价钱比的上买个v100 32G了。反正24G显存还能跑。想冲内存。因为新的模型出来，黄牛党又有借口涨价了。。。

我的配置x99 TF主板、E5 2696v4 64G DDR4 recc ,nvme1T,AMD RX7900xtx 24G.ubuntu 24.04 。估计下一代的QFN模型出来，需要更多的内存。现在想想为了以后还能继续跑这个。想下手128G内存。32G DDR4 x4，我原来是16G DDR4x4,5月份在平多多下手的。现在价格高企，大佬们有没有好的推荐。

这是DDR3 的硬伤。

64GDDR4，心理不想再要DDR3了。。。。加入等等党。

@farmer-node对，停了27B，切换到IQ3_S了。暂时够用了。

我是让Hermes抄作业。调优出答案是tier自适应后提速了。但我的是pcie3，达不到楼主的100t/s。

改完并验证，保留这个配置（效果明显，不改回去）。

   改动：--adapt-every 0 → --adapt-every 2，加 --adapt-async 1（原配置备份在
   strata-orca-iq3_xxs.json.bak-pre-adapt）

       指标                 改前         改后
       解码显存命中率        35.8%       93.6-94.3%
       2K/1024 解码         41.0 tok/s  66.5-67.7 tok/s   (+63%)
       9.3K 提示词解码        42.2        58.0 冷 / 78.4 热
       端到端(含预填充)       37.0        66-67
       预填充 15K           1476.5      1632.9            (没受损，略快)
       常驻/显存余量         30.18 GiB / 902 MiB  不变

   引擎自己确认自适应已生效：

       adaptive swaps exchange them with the GPU cache (no file reads)
       adaptive tier asynchronous (--adapt-async 1): up to 96 swaps per round, a round every 2
   windows
       asynchronous adaptive tier: 430 rounds, 17745 experts swapped in, ~101 ms per round

   每轮 ~100ms 跑在解码窗口之间，所以预填充没被拖累。热得很快 —— 重启后第一个请求就
   90.6%，不需要预热跑一堆。

   还差的一段
   他要 100+，我们在 67。剩下的差距不在 ROCm、也不在这个开关了，主要是：他的 pack
   量化档（专家更小 → 24G 装得下更多，我们只有 8780/24576 = 35.7% 能进显存）、以及 host
   内存带宽/CPU。我们的 24G 卡在这套 IQ3_S 上，67 tok/s 已经接近这套配置的天花板。

   一个可选小改进
   加 --expert-profile-save，把学到的路由频次存下来，以后重启直接从你的真实流量热启动（现在重启
   后会退回仓库自带那个不匹配的 profile，第一请求 60.6 而不是
   67）。要的话我加上，需要再重启一次。

   顺带：这个坑和官方文档推荐的 7900 XTX 配置（写的是 --adapt-every 0）是冲突的 —— 已写进 strata
   skill，附带诊断方法（看 decode expert cache hit rate 是否≈显存槽位占比）。

模型量化版本是什么？IQ3_S?

看了大佬们说 IQ3_XXS是聊天玩具后，换成了 IQ3_S，设备：E52696V4，X99 TF，64G DDR4，7900xtx，decode：40+到70+，40+为主。目测最高pp 1700+。

有点再下单v100 32G的冲动。哈哈哈

哎，直接看跪了。差生文具好又多。差生都是地主家儿子：）

我也是64G ，rag系统在跑，勉强够，必须把其他几个项目关掉才能跑strata，楼主做的好详细。加油。

等大跨度起飞再用，期待QWEN4

这个方案出来后，内存又有理由再涨一波了。哈哈哈（苦笑······）

能用，但还是尴尬，64G内存不够霍霍。继续跑27B了。

加油啊！！好期待。