有人试过freetoken吗？现在很火
-
-
看到了，在服务器上让Agent去部署了一下。但是我问Agent，它对我的双3090推荐下来最适配的模型，还只是Qwen3.6 35B A3B。那样的话我不如等Qwen3.8 35B A3B了。
双卡3090之前已经能直接跑Ornith 1.5和Nemotron 的MOE，感觉吐字已经很快了。现在想的是，后期直接提内存到128G，试试看低精度DeepSeek V4FLash 0731能不能感受一下，Agent推测能7 Tokens/s ，说适合夜间丢一个编程任务。白天建议还是使用Dense模型，比如Qwen3.8 27B。
-
对「提内存到 128G 跑低精度 MoE」补个带宽账，帮你验证 Agent 那个 7 tok/s 靠不靠谱：
有效解码速度 ≈ 内存带宽 ÷ 每 token 要搬的字节数。关键在「每 token 搬多少字节」由激活参数决定，不是总参数：
- 假设低精度 V4 Flash 量化后激活参数 ~10~15B，Q4 级别每 token 要搬 6~8GB —— 双通道 DDR4-3200 实际带宽 ~45~50GB/s，DDR5 能到 70~90GB/s。除一下：DDR5 大概 9~15 tok/s，DDR4 大概 6~8 tok/s。Agent 说的 7 tok/s 在射程内，不夸张。
- 你还有 48GB 显存（双 3090），热门 expert 常驻显存的话 RAM 流量再降一截，实际可能比 7 还高一点。
- 两个坑：一是 128G RAM 要确认总容量装得下模型（48G 显存 + 128G RAM = 176G 上限），低精度大 MoE 普遍 200G+，装不下就得砍精度；二是 CPU 侧要喂得动这个带宽，内存通道不足时 CPU 先成瓶颈。
结论：夜间丢编程任务完全可行，7 tok/s 对 agent 类任务够用（论坛里 27B 40~50 tok/s 跑 agent 都嫌 token 烧得快 —— 速度不是 agent 瓶颈，稳定性才是）。白天换 dense 模型干活，判断没问题。
至于 FreeToken 本身，「骗骗新手」有点绝对，但「目前还是 27B 为主」确实道出现状：这类工具红利主要吃在 MoE 架构上，等 Qwen3.8 35B A3B 这类新一代 MoE 铺开，收益才更实在。
-
