主機環境：AMD EPYC 7K62 48-Core / 96-Thread，128GB RAM，4 × NVIDIA Tesla V100-SXM2 32GB

1. 模型與運行設定

2. Repo 更新與核心優化

A. 上游 v1.1.41 程式碼同步

• 上游基礎版本：同步自官方 origin/main（commit 9030b73，tag v1.1.41）。
• 合併分支：integration/sync-upstream-v1141 -> Fast-Forward 合併至 production/upstream-20261027。
• 主要增強：
  1. 啟用 Volta Tensor Core WMMA GEMM 矩陣運算核心（EXL3_WMMA_V70）。
  2. 升級 Prefill DMA 排程與批次流式傳輸機制。
  3. 保留本地多 GPU 區塊取消界限守護（ds4_chunk_cancel::Boundary），與上游 yield_to / run_yields 協同運作。
  4. 保留本地自研之零命中跳過邏輯，與上游 DS4_SKIP_UNPICKED 實現雙軌相容。

B. Zero-hit Expert Transfer Skipping (DS4_SKIP_ZERO_EXPERTS=1)

• 核心機制：在 Prefill 階段，各層於 GPU 完成 Top-K Routing 後，檢查 cur_bounds[v+1] == cur_bounds[v]。若命中 Token 數為 0，則跳過該冷專家的 PCIe DMA 傳輸。
• 傳輸節省：
  • 32K Prefill：節省 66.9% ~ 73.2% 的 H2D 傳輸量。
  • 128K Prefill：節省 65.6% ~ 70.3% 的 H2D 傳輸量。
  • 500K Prefill：節省 82.9% 的 H2D 傳輸量（GPU 0/1 傳輸量從 3.03TB 驟降至 503GB）。
• 品質保證：不修改 EXL3 權重、不修改 Top-K 結果、不漏算任何有效 Token，貪婪輸出與原始版本維持 Bit-Exact 完全一致。

C. Direct RAM 啟動 Compaction 防護

針對 Direct RAM（98.4GB）啟動時容易因 Linux 核心記憶體碎片引發 migrate_longterm_unpinnable_folios 導致長達 10 分鐘卡頓的問題，實施兩項核心修復：

1. Buddyinfo 自適應 THP 檢測 (ds4_os.hpp)：
   動態檢查 /proc/buddyinfo。僅在系統擁有足夠的連續 2MB 頁框時才啟用 MADV_HUGEPAGE；若碎片化嚴重則自動回退為標準 4KB 頁框，徹底杜絕核心逐頁遷移與 Compaction 重試停頓。
2. 8 執行緒並行 cudaHostRegister (ds4_model.cu)：
   將 61 個層的 Host Memory Pinned 註冊改為 8 條執行緒並行執行，加速完成 DMA 映射。

3. 最新實測效能與驗證資訊

A. Cold Prefill & Decode 效能矩陣

評測維度	原始基準 (Skip OFF)	前期版本 (Skip ON)	最新 v1.1.41 (Skip ON)	較前期提升	較原始基準提升
32K Cold Prefill (Tok/s)	429.0 tok/s	486.5 tok/s	605.9 tok/s	+24.5%	+41.2%
32K TTFT 首字延遲	73.30 s	64.66 s	52.21 s	-12.45 s	-21.09 s
32K Decode (Tok/s)	34.60 tok/s	34.71 tok/s	37.39 tok/s	+7.7%	+8.1%
32K Needle 正確性	100%	100%	100% (Pass)	一致	一致
128K Cold Prefill (Tok/s)	462.0 tok/s	500.0 tok/s	640.3 tok/s	+28.1%	+38.6%
128K TTFT 首字延遲	281.95 s	260.59 s	203.90 s	-56.69 s	-78.05 s
128K Decode (Tok/s)	29.80 tok/s	30.22 tok/s	37.13 tok/s	+22.9%	+24.6%
128K Needle 正確性	100%	100%	100% (Pass)	一致	一致

B. 功能與穩定性測試

1. 單元測試套件：
   • python3 -m unittest tools.test_ds4_pack serve.test_server：145/145 測試全部通過（耗時 35.3s）。
2. Thinking 思考鏈推理：
   • 驗證 Prompt：How many letters in the word "apple"? Output reasoning and answer.
   • 3.77s 內順利回傳 reasoning_content 與標準解答，思考鏈標籤未發生截斷或錯位。
3. Tool Calling 結構化調用：
   • 驗證 Prompt：What is the stock price of NVDA? + lookup_stock tools schema。
   • 成功命中並回傳標準 OpenAI tool_calls JSON 結構：{'name': 'lookup_stock', 'arguments': '{"ticker":"NVDA"}'}。
4. 長上下文能力：
   • 通過 500,000 邊界保護測試（<= 500000 正常運作，> 500000 正常回傳 400 錯誤）。

4. 異常調查：長 Prefill 原因與修復 (Prefill Cache Stall / Long Prefill Fix)

A. 問題現象

在生產環境運行多輪 Agent / OpenCode 對話時，發現每次對話都會出現長達 60~90 秒的長 Prefill（如 54K、57K、64K、69K Tokens），日誌顯示：

ds4: took back a 22090-token shared start (0.01 s)
maya ds4 serve: prompt 69438 tokens = 22090 reused + 47348 read in 89230 ms (530.6 tok/s)

Prefix Cache 始終只能重用前 22,090 tokens（System Prompt），後續對話增量（20,000 ~ 47,000 tokens）每一輪都在重新進行 Cold Prefill。

B. 根因分析 (Root Cause)

1. 觸發旗標殘留 (/tmp/maya_always_cold_prefill)：
   • 20:03 執行的 scripts/run_upstream_v1141_verification.py 測試腳本在跑純冷啟動壓測時寫入了 /tmp/maya_always_cold_prefill，但結束時未清理。
   • scripts/restart_production.sh 先前重啟步驟中亦未清理 /tmp/maya_* 旗標。
2. C++ 引擎行為：
   • 於 src/ds4/ds4_main.cpp 第 1400 行：

     if (access("/tmp/maya_always_cold_prefill", F_OK) == 0 ||
         (std::getenv("DS4_ALWAYS_COLD_PREFILL") != nullptr && std::atoi(std::getenv("DS4_ALWAYS_COLD_PREFILL")) != 0)) {
         m.reset();
     }
     

   • 生產環境每當接收到任何請求時，該檔案強制觸發 m.reset()，將當前對話的動態 KV Cache 完全清空。
   • 引擎只剩下開機時常駐於 RAM 的 22,090-token System Prompt（prefixes RAM Tier），因此日誌只能「took back a 22090-token shared start」，導致後續數萬 tokens 每次均被迫重算。

C. 修復措施與驗證

1. 立即移除殘留旗標：
   • 刪除 /tmp/maya_always_cold_prefill。
2. 自動化重啟防禦加固：
   • 更新 [scripts/restart_production.sh]，在重啟生產服務前強制執行 rm -f /tmp/maya_always_cold_prefill /tmp/maya_skip_zero_experts。
   • 更新 [scripts/run_upstream_v1141_verification.py]，加入 finally 區塊與啟動/結束清理，確保測試旗標絕不遺留。
3. 線上驗證實測：
   • 旗標移除後，第 1 個請求（70,965 tokens）：
     prompt 70965 tokens = 69438 reused + 1527 read in 7739 ms (197.3 tok/s)
     重用率瞬間升至 97.8%，Prefill 時間由 89.2 秒銳減至 7.7 秒！
   • 第 2 個請求（72,493 tokens）：
     prompt read: 1180 tokens in 4.9 s，重用逾 71,313 tokens，耗時僅 4.9 秒。
   • 驗證 Prefix Cache 機制 100% 正常，長 Prefill 現象徹底解除。