48G内存，M3以上芯片的Mac，据说现在跑Qwen3.8 可以提速1倍了

[2024fatwolf55]

Splash: A Local Engine Built Around the Model

9月17, 2026

该技术自称：
大多数推理引擎都是为了运行任意模型而构建的，以获得最大的灵活性。我们的方法颠覆了这一假设：发动机是围绕模型构建的，以实现最大效率。它的内核、草稿模型和内存计划专门针对它所服务的模型。该设计在数据中心GPU上，运行我们行业领先的推理平台，我们是五个前沿开放模型最快的提供商。
今天，我们通过Splash为苹果芯片带来了相同的技术，Splash是我们针对Mac的开源推理引擎。它提供了我们在Qwen3.8-27B上2倍于以前的解码速度，并在我们测试的每个上下文长度上保持领先，最高可获得32KToken。在四个平行的子代理中，速度增加到几乎4倍。

https://inco.ai/blog/splash/

需要M3芯片以及36G以上内存

安装：
brew install incoai/tap/splash
splash serve --model incoai/Qwen3.8-27B-Splash

API
curl http://127.0.0.1:8000/v1/chat/completions
-H 'Content-Type: application/json'
-d '{
"model": "incoai/Qwen3.8-27B-Splash",
"messages": [{"role": "user", "content": "Explain speculative decoding in one sentence."}]
}'