(本篇內容由本地 Hermes AI 秘書編寫 — 核心模型 Qwen3.8 27B)

很多人使用 AI 助理都是呼叫雲端 API，但日常對話、私人日誌、甚至是工作上的機密文件與工程圖，全數送往外部伺服器始終存在隱私風險。

這套系統的核心目標只有一個：讓 AI 助理完全運行在自己的硬體上，對話、文件檢索與記憶全部閉環於內網，達成零訂閱、零雲端、零資料外洩。

這篇文章完整分享我所設計的「前端展示、邏輯中樞、本地算力」三層解耦架構、硬體規劃、關鍵推論優化與落地心得。

一、系統架構：三層解耦設計

為了讓整體系統具備高度穩定性與彈性，我將整個 AI 秘書拆分為三個完全獨立的層級：

訊息流轉路徑：

1. 使用者在手機上的 Synology Chat 發送文字或圖片。
2. 訊息轉發至實體主機，注入 VirtualBox 虛擬機中的 Hermes Agent。
3. Agent 整理上下文與提示詞，跨層呼叫實體主機的 llama-server（Port 8080）進行模型推論。
4. 模型生成結果後回傳給 Agent 整理，原路推播回 Synology Chat。

二、硬體配置清單

• 前端伺服器：Synology NAS（負責 Chat 服務與訊息轉發）
• 中央處理器 (CPU)：Intel i9-9900K @ 3.60 GHz（VM 分配 4 核，llama.cpp 佔用 16 執行緒）
• 系統記憶體 (RAM)：128 GB DDR4 @ 3203 MHz（提供充裕的主機與快取空間）
• 圖形處理器 (GPU)：雙 NVIDIA RTX 5070 Ti（16 GB × 2，共 32 GB VRAM）
• 匯流排 (PCIe)：PCIe 3.0（拆分 8x + 8x）
• 高速儲存：5 TB NVMe SSD（存放模型權重檔、知識庫與歷史對話記錄）

三、算力層核心：llama.cpp 部署與加速關鍵

推論引擎採用 llama.cpp，模型選用 Qwen3.8-27B-UD-Q5_K_XL 搭配視覺組件。

完整啟動腳本

@echo off
chcp 65001 >nul

llama-server.exe ^
  -m "models\Qwen3.8-27B-UD-Q5_K_XL.gguf" ^
  --mmproj "models\mmproj-Qwen3.8-27B-f16.gguf" ^
  --image-min-tokens 1024 ^
  --image-max-tokens 2048 ^
  --split-mode tensor ^
  --tensor-split 1,1 ^
  --main-gpu 0 ^
  -ngl 999 ^
  -t 16 ^
  -fa on ^
  --ctx-size 131072 ^
  --parallel 1 ^
  -b 2048 ^
  -ub 512 ^
  -cb ^
  --cache-type-k q8_0 ^
  --cache-type-v q8_0 ^
  --spec-type draft-mtp ^
  --spec-draft-ngl 999 ^
  --spec-draft-n-max 2 ^
  --spec-draft-p-min 0 ^
  --jinja ^
  --reasoning-preserve ^
  --chat-template-kwargs "{\"reasoning_effort\":\"medium\"}" ^
  --temp 0.2 ^
  --top-p 0.7 ^
  --top-k 20 ^
  --min-p 0.08 ^
  --samplers "top_k;top_p;min_p;temperature" ^
  --repeat-penalty 1.05 ^
  --host 0.0.0.0 ^
  --port 8080

pause

系統高效運行的 3 個關鍵調優

1. 雙卡對稱張量並行（Tensor Split 1,1）
   27B 模型權重約 18～19 GB，單張 16G 顯卡無法全卸載。採用 --split-mode tensor 與 1,1 純對稱切分，讓兩張卡算力與矩陣乘法維度完全對齊，徹底消除非對稱切分帶來的 AllReduce 通訊等待延遲。
2. 128K 超長上下文 + Q8_0 KV Cache
   為了讓 AI 助理具備長記憶與長文件讀取能力，配置了原生 131,072（128K）上下文。搭配 --cache-type-k/v q8_0 對快取進行量化，精確將整體顯存壓在雙卡 32 GB 範圍內。
3. MTP（Multi-Token Prediction）投機解碼
   利用 Qwen 原生 MTP 架構開啟投機預測推論（--spec-type draft-mtp），讓生成速度在長文本下依然能穩定維持 75 tok/s 以上的高檔水準。

四、效能實測表現

透過標準 API 串流端點進行 3 輪長文本生成測速：

五、落地應用心得與優勢

1. 多模態辨識超實用
   透過 --image-max-tokens 2048 限制圖片上限，隨手用手機拍下設備電路圖、報表截圖或手寫筆記發進 Chat，模型都能在 2 秒內完成 OCR 與內容解析，且完全不佔用多餘顯存。
2. 算力與邏輯徹底解耦
   將 Hermes Agent 放進 Linux VM 是一大亮點。Agent 需要安裝各種 Python 工具庫、排程腳本或知識庫外掛，在 VM 裡隨便折騰、拍快照備份，完全不會污染負責提供 GPU 算力的 Windows 實體主機。
3. 極致隱私與零成本
   所有對話紀錄、個人記憶庫與機密文件完全留在自家區網內。不再需要支付任何雲端 AI 訂閱費用，斷網時依然能正常工作。

結語

消費級硬體（雙 RTX 5070 Ti）搭配適當的架構分層與量化參數，已經完全能夠在自家內網搭建出一套高速度（76 tok/s）、大容量（128K Context）、能看圖且具備長記憶的頂級私人 AI 助理。

歡迎對本地部署與私人 Agent 感興趣的朋友在下方交流討論！