想再压 20G，方向就三个：只留 4bit 权重不叠 FP8 冗余；KV 上 q8_0 或 4bit（长上下文省得最多）；MoE 用专家卸载而不是整层卸载，dense 卸载掉速很难看。

不过这个尺寸本身就是最尴尬的一档：128G 小主机装不满，双 24G 又不够，性价比最差，反而是那个 9B 小模型更实用（@Bunsei 这点说得对）。另外 RL 权重分布更尖，量化掉点一般比 Base/SFT 明显，刷榜分数别直接外推到本地 4bit。

@johnnybegood said:

现在还是小打小闹， 一群人类看着逗蛐蛐的程度， 远没到震撼的程度

當你仔細分析 LLM的Chain of Thought的推論過程, 就可以感受到它的潛力
當然人類也可以做到這麼複雜的分析
但速度比不上
也沒什麼迭代能力
更不可能一次開個 一萬個Subagents 進行平行思維

難道要比特幣漲到12.5萬美金比較震撼嗎？

@Bunsei said:

至于MIMO，我祝他好运

真的是太精彩了！ 人類歷史上 民間企業的科技競爭很少有這麼激烈的程度
加上全球數十萬或數百萬的軟件開發者
這算是數位世界的文藝復興時期嗎？ (我瞎扯一通 )

@kos-or 说:

XiaomiMiMo/MiMo-V2.6-Flash-RL 约 159B 這個4bit 本地的機器大概勉強可以推得動

ProCreations/MiMo-V2.6-Flash-RL-NVFP4
若要下載完整模型，至少預留約 194 GB，實際整包空間需再加 auxiliary files。

我的機器推的話大概只有10-13 TPS , 無法產生足夠的生產力

Qwen4要发布了（https://x.com/CuiMao/status/2102228543782723643 ） 至于MIMO，我祝他好运。

@David-Chen 说:

好用的一個就夠了，什麼都收集，又不是在收集職業球員卡....我堅持白嫖，等別人試出來再跟進(哈～)

你说得对，但.. Qwen4-27B要来了！至于mimo我祝他好运。 https://x.com/CuiMao/status/2102228543782723643

ProCreations/MiMo-V2.6-Flash-RL-NVFP4
若要下載完整模型，至少預留約 194 GB，實際整包空間需再加 auxiliary files。

我的機器推的話大概只有10-13 TPS , 無法產生足夠的生產力

@johnnybegood 说:

@Bunsei 我看了一下它现在FLash 178G , 我显存+内存 176G， 只要他能再压缩个 20G, 我估计勉强能用起来看看。

这边建议直接加内存哟~~~

@johnnybegood 说:

@Bunsei 得等等Q4量化版

不过我感觉他应该跟DSV4.1F差不多，没有多少量化空间。

@张光璞 说:

@Bunsei 说:

@张光璞 说:

现在中美大模型，不管是哪家。不会有什么全能型碾压级的优势的。 各家都差不太多只是风味不同。 有人逻辑强，有人发散好。 有人速度快但智力稍低。

编码上都大差不差，现在越来越注重模型的性价比，性能够用的基础上吞吐量越快，价格越便宜就越收到青睐。 我倒是真的希望能有一款侧重文学的大模型，可惜现在的环境根本不现实，都是卯着劲冲Agent 和code 能力。

古早deepseek R1 可以满足你

那是真有点早了（虽然实际上也没有多久）

@farmer-node 说:

@Bunsei 我现在真觉得写代码还是得用线上模型，本地哪怕是能用，但是速度也是天差地别。

其实速度不差的，这个是我自己折腾完的，在长程agent编码任务里，速度也是60~80左右。

@Bunsei 说:

@张光璞 说:

现在中美大模型，不管是哪家。不会有什么全能型碾压级的优势的。 各家都差不太多只是风味不同。 有人逻辑强，有人发散好。 有人速度快但智力稍低。

编码上都大差不差，现在越来越注重模型的性价比，性能够用的基础上吞吐量越快，价格越便宜就越收到青睐。 我倒是真的希望能有一款侧重文学的大模型，可惜现在的环境根本不现实，都是卯着劲冲Agent 和code 能力。

古早deepseek R1 可以满足你

@张光璞 说:

我感觉本地部署ai 快成hifi圈子了。
一套系统折腾很久，刚用上没几天。就有新的东西出来，怎么怎么好怎么提升 ，就想去折腾试试。

差别就是hifi只满足了精神需求，而本地模型部署既满足爱折腾的精神需求，而且还有一定的生产力价值能解放自己一部分精力。

@张光璞 说:

现在中美大模型，不管是哪家。不会有什么全能型碾压级的优势的。 各家都差不太多只是风味不同。 有人逻辑强，有人发散好。 有人速度快但智力稍低。

编码上都大差不差，现在越来越注重模型的性价比，性能够用的基础上吞吐量越快，价格越便宜就越收到青睐。 我倒是真的希望能有一款侧重文学的大模型，可惜现在的环境根本不现实，都是卯着劲冲Agent 和code 能力。

@williamlouis 说:

小米对标HW久了。可信度低的一批。
也希望它能真的争气一次。别一卡就卡脸。

好像是主打的一个性能够用，价格便宜，看起来像是专门干杂货的模型，现在听说刷榜严重，就看后面实际测试结果了。

@williamlouis 说:

小米对标HW久了。可信度低的一批。
也希望它能真的争气一次。别一卡就卡脸。

小米营销最大的成功就是 大家觉得他跟华为一个量级

@terry 说:

150B模型很奇怪，这个尺寸就是特么的蛋疼尺寸，卡128G小主机不舒服的尺寸。希望有点来头，这分数看了老夫睡不着，但很困，是真的吗？

是的，所以对我这种缺内存的人来说，意义最大的反而是那个9B的模型。