手机也玩大模型，端侧多模态大模型 MiniCPM-V 4.7，仅 3GB 内存可实现 13+ token/s 解码速度

[johnnybegood]

https://www.modelscope.cn/collections/OpenBMB/MiniCPM-V-47

据官方介绍，这款模型基于最新 LES（前瞻专家调度）推理加速技术，其中 35B-A3B 版本是首个支持端侧无损流畅运行的开源 MoE 模型，在 iPhone 17 Pro Max 上以仅 3GB 内存达到 13+ token/s 的解码速度。

IT之家了解到，MiniCPM-V 4.7 同时支持 iOS、安卓和鸿蒙，并适配 Intel、AMD、Arm、瑞芯微、后摩等芯片平台，覆盖更多移动设备与本地计算场景。同步开源 Self-Replay Fine-Tuning (SRFT) 微调方案，帮助开发者低成本扩展模型能力和减少遗忘，方便二次开发。

此外，该模型 35B-A3B 版本在 Instruct 模式下，以更短的推理时间取得比 Qwen3.6 35B-A3B 更高的综合得分；1B 版本相比 MiniCPM-V 4.6 持续提升基础能力，并在综合得分和推理效率上均显著领先 Qwen3.5 0.8B。

[johnnybegood]

我之前手机里面就放了MiniCPM 2B 4B的模型， 本地使用 15tok/s 左右， 没网的时候也能当自己的助理吧。

[kos or]

未來 各大科技公司 將會在我們的手機和電腦中 安裝各種 Tiny LLMs 偷取我們的個人隱私

[imbiplaza ASUS]

@kos-or

偷算力。。。。

[kos or]

@imbiplaza-ASUS

偷未來的錢包

[johnnybegood]

@kos-or 难道说， 现在就没有偷取么？

[kos or]

@johnnybegood

哈哈 是的 包含監聽中
Google Chrome 4GB tiny LLM 記得刪除