<![CDATA[利用RAM的技術]]>大家好，
請問各位，新的能用RAM搭配中高階顯卡，跑超大模型的技術，是不是叫：MoE混合卸載呢？或是叫什麼名稱呢？我要問AI都不確定，謝謝

]]>https://lcz.me/topic/2124RSS for NodeMon, 12 Oct 2026 14:26:50 GMTTue, 06 Oct 2026 00:40:51 GMT60<![CDATA[Reply to 利用RAM的技術 on Tue, 06 Oct 2026 01:42:15 GMT]]>@怪物
这个技术来源于多个论文, 而且比较新, 所以它现在也没有统一公认的名称. 比较通用的有 expert offloading 或者 MoE expert offloading.

]]>https://lcz.me/post/22709https://lcz.me/post/22709Tue, 06 Oct 2026 01:42:15 GMT<![CDATA[Reply to 利用RAM的技術 on Tue, 06 Oct 2026 01:18:03 GMT]]>你的配置或許適合Colibri 能跑得動超大模型 GLM-5.2/5.3 (744B) 、DeepSeek V4 Flash (284B)

https://github.com/JustVugg/colibri
小巧引擎，龐大模型。透過將儲存、RAM 和 VRAM 視為單一推理層級（AI 記憶體多層架構），在消費級和異質硬體上運行前沿的 MoE 模型（參數量從 744B 到 2.8T 不等），完全使用純 C 語言編寫，無需任何引擎依賴。

目前運行的模型系列有九個：GLM-5.2/5.3 (744B)、GLM-5.3-Flash (321B，帶視覺功能)、Inkling (975B)、Kimi K3 (2.8T)、DeepSeek V4 Flash (284B)、DeepSwen V4.15552 +F. 51B n-gram)、Qwen3.6 (35B-A3B) 和 OLMoE (7B)－每個模型只需一個 C 文件，使用相同的 coli chat / coli serve / coli web front-head。

]]>https://lcz.me/post/22702https://lcz.me/post/22702Tue, 06 Oct 2026 01:18:03 GMT<![CDATA[Reply to 利用RAM的技術 on Tue, 06 Oct 2026 00:58:23 GMT]]>@怪物
可能是这个Strata，目前最火的论坛很多讨论贴
https://github.com/Niko1221/Strata

]]>https://lcz.me/post/22698https://lcz.me/post/22698Tue, 06 Oct 2026 00:58:23 GMT