環境與版本

runtime/model_settings.json 設定 MTP enabled、fixed depth 2、max context 262144；scripts/serve-local.sh 啟用 Prompt Lookup、HC GEMV、232 GB memory guard。設定隔離於本專案 runtime/。API /v1/models 回報 max_model_len=262144；最終重啟後 Chat Completions 回覆 OK，模型載入 32.09 秒。Prompt Lookup 專項複製測試 32/32 行正確；伺服器記錄 drafted 280、accepted 278（99.3%）。MTP 日誌顯示 nextn layer 已綁定。

Metal wired-memory 設定

本機 Unified Memory 為 256 GB。iogpu.wired_limit_mb 參數存在，原值 0；已執行 sudo sysctl -w iogpu.wired_limit_mb=245760，調整後回讀及最終再讀均為 245760 MB（240 GiB）。模型成功分配 Metal 記憶體並完成全部測試。**還原命令：sudo sysctl -w iogpu.wired_limit_mb=0。**未設定開機自動套用，未修改 SIP、Swap 或其他系統參數。oMLX 提示其內部 static ceiling 254 GB 高於系統 Metal cap 240 GB；實測配置最高 192.343 GiB，服務另有 232 GB memory guard。

Benchmark

2026-10-22 實測。TTFT、Prefill、Decode 取自 OpenAI streaming usage；TTFT 單位秒，速率 tokens/s。長 Context 在開頭埋隨機碼、末尾提問，三項回憶皆正確。短輸出只有 6–8 tokens，Decode 值僅供參考。原始逐請求結果：runtime/benchmarks/results-4.jsonl、results-8.jsonl；約每 2 秒監控：memory-4.csv、memory-8.csv。

256K 命中前次 prefix cache；664.27 tokens/s 是 oMLX 對未快取部分的回報，不能直接與前兩列的未快取 Prefill 比較。三項實際 prompt 均低於 262144 上限。

短 prompt 每路僅 31 tokens，多數命中 prefix cache，因此併發 Prefill 值主要供記錄。8 路首次冷載入測試也 8/8 正常，模型載入約 31.1 秒，合計 Decode 118.45 tokens/s；表中採暖機後數據。合計是各串流回報速率相加，並非同一時間窗的端到端吞吐。

Tool Calling：指定 lookup_city 函式與 Taipei 參數，回傳 finish_reason=tool_calls，JSON 參數 {"city":"Taipei"} 正確；通過，端到端約 2.281 秒。

8 路期間 Swap 由 7.19 MB 增至 62.50 MB，未達停止線 512 MB。監控腳本在 free ≤12%、Swap ≥512 MB、Metal in-use／allocated ≥232 GiB 或 oMLX 壓力達 hard／critical 時終止本服務。上表為各測試時段峰值；CSV 保存完整時間序列。