**Decode : tok/s (蝸牛速度) **

Colibri 能跑得動超大模型 GLM-5.2/5.3 (744B) 、DeepSeek V4 Flash (284B)

https://github.com/JustVugg/colibri

小巧引擎，龐大模型。透過將SSD、RAM 和 VRAM 視為單一推理層級（AI 記憶體多層架構），在消費級和異質硬體上運行前沿的 MoE 模型（參數量從 744B 到 2.8T 不等），完全使用純 C 語言編寫，無需任何引擎依賴。

目前運行的模型系列有九個：GLM-5.2/5.3 (744B)、GLM-5.3-Flash (321B，帶視覺功能)、Inkling (975B)、Kimi K3 (2.8T)、DeepSeek V4 Flash (284B)、DeepSwen V4.15552 +F. 51B n-gram)、Qwen3.6 (35B-A3B) 和 OLMoE (7B)－每個模型只需一個 C 文件，使用相同的 coli chat / coli serve / coli web front-head。