MiMo-2.6-Flash 发布了

[Bunsei]

@张光璞 说:

我感觉本地部署ai 快成hifi圈子了。
一套系统折腾很久，刚用上没几天。就有新的东西出来，怎么怎么好怎么提升 ，就想去折腾试试。

差别就是hifi只满足了精神需求，而本地模型部署既满足爱折腾的精神需求，而且还有一定的生产力价值能解放自己一部分精力。

[farmer node]

@Bunsei 我现在真觉得写代码还是得用线上模型，本地哪怕是能用，但是速度也是天差地别。

[张光璞]

@Bunsei 说:

@张光璞 说:

现在中美大模型，不管是哪家。不会有什么全能型碾压级的优势的。 各家都差不太多只是风味不同。 有人逻辑强，有人发散好。 有人速度快但智力稍低。

编码上都大差不差，现在越来越注重模型的性价比，性能够用的基础上吞吐量越快，价格越便宜就越收到青睐。 我倒是真的希望能有一款侧重文学的大模型，可惜现在的环境根本不现实，都是卯着劲冲Agent 和code 能力。

古早deepseek R1 可以满足你

[Bunsei]

@farmer-node 说:

@Bunsei 我现在真觉得写代码还是得用线上模型，本地哪怕是能用，但是速度也是天差地别。

其实速度不差的，这个是我自己折腾完的，在长程agent编码任务里，速度也是60~80左右。

[Bunsei]

@张光璞 说:

@Bunsei 说:

@张光璞 说:

现在中美大模型，不管是哪家。不会有什么全能型碾压级的优势的。 各家都差不太多只是风味不同。 有人逻辑强，有人发散好。 有人速度快但智力稍低。

编码上都大差不差，现在越来越注重模型的性价比，性能够用的基础上吞吐量越快，价格越便宜就越收到青睐。 我倒是真的希望能有一款侧重文学的大模型，可惜现在的环境根本不现实，都是卯着劲冲Agent 和code 能力。

古早deepseek R1 可以满足你

那是真有点早了（虽然实际上也没有多久）

[johnnybegood]

此主題已被删除！

[johnnybegood]

@Bunsei 得等等Q4量化版

[Bunsei]

@johnnybegood 说:

@Bunsei 得等等Q4量化版

不过我感觉他应该跟DSV4.1F差不多，没有多少量化空间。

[johnnybegood]

@Bunsei 我看了一下它现在FLash 178G , 我显存+内存 176G， 只要他能再压缩个 20G, 我估计勉强能用起来看看。

[张光璞]

@johnnybegood 说:

@Bunsei 我看了一下它现在FLash 178G , 我显存+内存 176G， 只要他能再压缩个 20G, 我估计勉强能用起来看看。

这边建议直接加内存哟~~~

[kos or]

XiaomiMiMo/MiMo-V2.6-Flash-RL 约 159B 這個4bit 本地的機器大概勉強可以推得動

ProCreations/MiMo-V2.6-Flash-RL-NVFP4
若要下載完整模型，至少預留約 194 GB，實際整包空間需再加 auxiliary files。

我的機器推的話大概只有10-13 TPS , 無法產生足夠的生產力

[David Chen]

好用的一個就夠了，什麼都收集，又不是在收集職業球員卡....我堅持白嫖，等別人試出來再跟進(哈～)

[Bunsei]

@David-Chen 说:

好用的一個就夠了，什麼都收集，又不是在收集職業球員卡....我堅持白嫖，等別人試出來再跟進(哈～)

你说得对，但.. Qwen4-27B要来了！至于mimo我祝他好运。 https://x.com/CuiMao/status/2102228543782723643

[Bunsei]

@kos-or 说:

XiaomiMiMo/MiMo-V2.6-Flash-RL 约 159B 這個4bit 本地的機器大概勉強可以推得動

ProCreations/MiMo-V2.6-Flash-RL-NVFP4
若要下載完整模型，至少預留約 194 GB，實際整包空間需再加 auxiliary files。

我的機器推的話大概只有10-13 TPS , 無法產生足夠的生產力

Qwen4要发布了（https://x.com/CuiMao/status/2102228543782723643 ） 至于MIMO，我祝他好运。

[kos or]

@Bunsei said:

至于MIMO，我祝他好运

真的是太精彩了！ 人類歷史上 民間企業的科技競爭很少有這麼激烈的程度
加上全球數十萬或數百萬的軟件開發者
這算是數位世界的文藝復興時期嗎？ (我瞎扯一通 )

[johnnybegood]

@kos-or 现在还是小打小闹， 一群人类看着逗蛐蛐的程度， 远没到震撼的程度。后面还不知道怎么样呢。 但说不定科幻片终结者里面的场景10-20年内就会到来。

[kos or]

@johnnybegood said:

现在还是小打小闹， 一群人类看着逗蛐蛐的程度， 远没到震撼的程度

當你仔細分析 LLM的Chain of Thought的推論過程, 就可以感受到它的潛力
當然人類也可以做到這麼複雜的分析
但速度比不上
也沒什麼迭代能力
更不可能一次開個 一萬個Subagents 進行平行思維

難道要比特幣漲到12.5萬美金比較震撼嗎？

[Xiaote]

@johnnybegood 178G 这个体积看着是 FP8 全量。4bit（NVFP4/AWQ）大约能压到一半，但 159B 的 MoE 4bit 也要 90G 上下，再加 KV 和运行时缓冲才勉强进 176G；而且显存和系统内存不是一回事，卸载到内存后速度会掉。

想再压 20G，方向就三个：只留 4bit 权重不叠 FP8 冗余；KV 上 q8_0 或 4bit（长上下文省得最多）；MoE 用专家卸载而不是整层卸载，dense 卸载掉速很难看。

不过这个尺寸本身就是最尴尬的一档：128G 小主机装不满，双 24G 又不够，性价比最差，反而是那个 9B 小模型更实用（@Bunsei 这点说得对）。另外 RL 权重分布更尖，量化掉点一般比 Base/SFT 明显，刷榜分数别直接外推到本地 4bit。