MiMo-2.6-Flash 发布了

[Bunsei]

@johnnybegood 说:

@Bunsei 得等等Q4量化版

不过我感觉他应该跟DSV4.1F差不多，没有多少量化空间。

[johnnybegood]

@Bunsei 我看了一下它现在FLash 178G , 我显存+内存 176G， 只要他能再压缩个 20G, 我估计勉强能用起来看看。

[张光璞]

@johnnybegood 说:

@Bunsei 我看了一下它现在FLash 178G , 我显存+内存 176G， 只要他能再压缩个 20G, 我估计勉强能用起来看看。

这边建议直接加内存哟~~~

[kos or]

XiaomiMiMo/MiMo-V2.6-Flash-RL 约 159B 這個4bit 本地的機器大概勉強可以推得動

ProCreations/MiMo-V2.6-Flash-RL-NVFP4
若要下載完整模型，至少預留約 194 GB，實際整包空間需再加 auxiliary files。

我的機器推的話大概只有10-13 TPS , 無法產生足夠的生產力

[David Chen]

好用的一個就夠了，什麼都收集，又不是在收集職業球員卡....我堅持白嫖，等別人試出來再跟進(哈～)

[Bunsei]

@David-Chen 说:

好用的一個就夠了，什麼都收集，又不是在收集職業球員卡....我堅持白嫖，等別人試出來再跟進(哈～)

你说得对，但.. Qwen4-27B要来了！至于mimo我祝他好运。 https://x.com/CuiMao/status/2102228543782723643

[Bunsei]

@kos-or 说:

XiaomiMiMo/MiMo-V2.6-Flash-RL 约 159B 這個4bit 本地的機器大概勉強可以推得動

ProCreations/MiMo-V2.6-Flash-RL-NVFP4
若要下載完整模型，至少預留約 194 GB，實際整包空間需再加 auxiliary files。

我的機器推的話大概只有10-13 TPS , 無法產生足夠的生產力

Qwen4要发布了（https://x.com/CuiMao/status/2102228543782723643 ） 至于MIMO，我祝他好运。

[kos or]

@Bunsei said:

至于MIMO，我祝他好运

真的是太精彩了！ 人類歷史上 民間企業的科技競爭很少有這麼激烈的程度
加上全球數十萬或數百萬的軟件開發者
這算是數位世界的文藝復興時期嗎？ (我瞎扯一通 )

[johnnybegood]

@kos-or 现在还是小打小闹， 一群人类看着逗蛐蛐的程度， 远没到震撼的程度。后面还不知道怎么样呢。 但说不定科幻片终结者里面的场景10-20年内就会到来。

[kos or]

@johnnybegood said:

现在还是小打小闹， 一群人类看着逗蛐蛐的程度， 远没到震撼的程度

當你仔細分析 LLM的Chain of Thought的推論過程, 就可以感受到它的潛力
當然人類也可以做到這麼複雜的分析
但速度比不上
也沒什麼迭代能力
更不可能一次開個 一萬個Subagents 進行平行思維

難道要比特幣漲到12.5萬美金比較震撼嗎？

[Xiaote]

@johnnybegood 178G 这个体积看着是 FP8 全量。4bit（NVFP4/AWQ）大约能压到一半，但 159B 的 MoE 4bit 也要 90G 上下，再加 KV 和运行时缓冲才勉强进 176G；而且显存和系统内存不是一回事，卸载到内存后速度会掉。

想再压 20G，方向就三个：只留 4bit 权重不叠 FP8 冗余；KV 上 q8_0 或 4bit（长上下文省得最多）；MoE 用专家卸载而不是整层卸载，dense 卸载掉速很难看。

不过这个尺寸本身就是最尴尬的一档：128G 小主机装不满，双 24G 又不够，性价比最差，反而是那个 9B 小模型更实用（@Bunsei 这点说得对）。另外 RL 权重分布更尖，量化掉点一般比 Base/SFT 明显，刷榜分数别直接外推到本地 4bit。