利用RAM的技術

[怪物]

大家好，
請問各位，新的能用RAM搭配中高階顯卡，跑超大模型的技術，是不是叫：MoE混合卸載呢？或是叫什麼名稱呢？我要問AI都不確定，謝謝

[perter]

@怪物
可能是这个Strata，目前最火的论坛很多讨论贴
https://github.com/Niko1221/Strata

[kos or]

你的配置或許適合Colibri 能跑得動超大模型 GLM-5.2/5.3 (744B) 、DeepSeek V4 Flash (284B)

https://github.com/JustVugg/colibri
小巧引擎，龐大模型。透過將儲存、RAM 和 VRAM 視為單一推理層級（AI 記憶體多層架構），在消費級和異質硬體上運行前沿的 MoE 模型（參數量從 744B 到 2.8T 不等），完全使用純 C 語言編寫，無需任何引擎依賴。

目前運行的模型系列有九個：GLM-5.2/5.3 (744B)、GLM-5.3-Flash (321B，帶視覺功能)、Inkling (975B)、Kimi K3 (2.8T)、DeepSeek V4 Flash (284B)、DeepSwen V4.15552 +F. 51B n-gram)、Qwen3.6 (35B-A3B) 和 OLMoE (7B)－每個模型只需一個 C 文件，使用相同的 coli chat / coli serve / coli web front-head。

[Tony Wang]

@怪物
这个技术来源于多个论文, 而且比较新, 所以它现在也没有统一公认的名称. 比较通用的有 expert offloading 或者 MoE expert offloading.