抡锤者

@kos-or

我是等等黨非必須，我還是雙卡等待降價!!

@kos-or

本來全放RAM的，我昨天也有測試，我改為direct放SSD了，速度差異0.x%，反而全放RAM有時後掉一點到SSD會破碎反而慢1~2x%，不能把RAM用到爆

不在家我會把其它軟體關掉，專家大該8600~8700左右。

更新Strata 0.2.2（0.1.47 核心）+ CUDA 13.4.3 + Blackwell sm_120

四情境測速結果（qwen3.8-flash-next-uncensored-iq4_xs @ n_ctx 262K）

情境	R1	R2	R3	平均
解題	107.0	130.9	104.7	114.2 tok/s
Coding	122.2	124.8	108.5	118.5 tok/s
英文寫作	121.2	123.2	111.1	118.5 tok/s
中文寫作	117.5	109.5	111.9	113.0 tok/s

解讀：

• 四情境平均全數突破 110，單輪最高 130.9——比 16K 標準基準的穩態（94~107）還高一截。原因：四情境 prompt 短、TTFT 只有 3~6 秒，Decode 段幾乎全程跑熱機穩態，這正是論壇「最高值」口徑的由來。
• Coding／英文寫作最快、解題與中文寫作略慢，屬正常的輸出內容差異，非硬體問題。

@kos-or

我還是老樣子，strata 跑在windows 測試是用同一台主機中的vm虛擬主機，跑ubuntu，pcie掉速可能只讀需要的專家吧，我將模型整個放在RAM中，還是有一點點會掉到SSD，我只有一台電腦只能全在這台跑。

下面跑的是我測試，不會突然掉速的限制VRAM餘量，吃光有時後會掉速，因該是WINDOWS分頁的問題。

目前兩張顯卡（2× RTX 5070 Ti 16GB）在目前執行的 [strata-uncensored-iq4_xs.json]設定下的即時顯存與專家配置如下：

一、駐留專家數量（Resident Experts）

設備	負責層數	專家槽位數	專家佔用顯存
GPU 0 (CUDA0)	Layers 0–23	4,244 個	10.52 GiB
GPU 1 (CUDA1)	Layers 24–47	4,159 個	10.31 GiB
雙卡合計	全 48 層	8,403 個	20.83 GiB

全模型共 24,576 個專家，雙卡總共長駐 8,403 個高頻專家（佔比 34.2%），在最新推論時解碼專家快取命中率維持在 90.4% ~ 94.2%。

二、兩張顯卡剩餘顯存（Free VRAM）

1. Strata 引擎模型載入後基準剩餘（目標 500~550 MiB）

• GPU 0：537 MiB（完美落在 500～550 MiB 區間）
• GPU 1：517 MiB（完美落在 500～550 MiB 區間）

2. nvidia-smi 即時實體顯存監控（含動態工作緩衝區釋放後）

• GPU 0：已用 14,847 MiB / 剩餘 1,149 MiB（溫度 36°C）
• GPU 1：已用 14,780 MiB / 剩餘 1,216 MiB（溫度 33°C）

雙卡均穩定維持在 500 MiB 安全邊際以上，無任何 WDDM 記憶體分頁延遲，運行表現最佳。

**【實測更新】Strata v0.1.45 + IQ4_XS — 雙卡 RTX5070 Ti

剛跑完雙卡 RTX 5070 Ti，同一套四情境測法（各生成 1,200 tokens × 3 輪取平均），數據更新如下：

雙卡 RTX 5070 Ti 16G Decode：
解題 : 113.7 tok/s
Coding: 106.7 tok/s
英文寫作 : 117.3 tok/s（單輪最高衝到 136.3）
中文寫作 : 108.7 tok/s

平台規格 :
目標模型 ：Qwen3.8-Flash-Next-Uncensored.i1-IQ4_XS
推理引擎 ：Strata v0.1.45
Context : 256 K
CPU : i9-9900K｜RAM : DDR4 128GB｜PCIe : PCIe 3.0 x8 + x8（無 NVLink，雙卡 tensor split 1,1）

小結：

• 跟樓主 v0.1.31 的數據對照，同測法下 IQ4_XS＋v0.1.45 基本持平略勝（英文寫作單輪有摸到 136）。
• 所有調優都試過，速度一直上不去，我判斷卡在 PCIe 3.0，測試只有跑6.8G——IQ4_XS 權重單張 16G 裝不下必須雙卡，每層 decode activation 都要走 PCIe 交換，x8+x8 頻寬再砍半。量化已經換到帶了，瓶頸就轉移到總線。同場雙卡玩家若能單卡裝下，試試單卡模式對照就知道差在哪。

@kos-or

哈，我沒改上下文，HERMES 有限制192K，我加的資安限制超多的，TTFT測試可以，但實際會慢10~100秒，要看我HERMES跑什麼，沒分小AGENT的後果，哈 。

@kos-or

我來交一下作業，優化後 還是可以用一下，只是比LLAMA.CPP慢一些

因該是我的HERMES+CHAT的限制關係，如果瀏覽器直出，就沒有這個問題

【實測】雙 5070 Ti 16G × Strata v0.1.42 跑 Qwen3.8-Flash-Next IQ3_S：四情境解碼實錄（對齊 #2033 測法）

適配硬體： 雙 NVIDIA RTX 5070 Ti 16GB（32GB VRAM）＋ Windows 10 實體機 ＋ VirtualBox Ubuntu VM（跑 Hermes Agent）

一、背景

主力推理層一直是 llama.cpp，2026-10-12 換成 Strata 試跑一天，順便照 #2033 kos-or 的四情境測法量了解碼速度。先講結論：一天下來工具呼叫、多模態、繁中輸出全部正常，沒有翻車，速度數據如下。

二、我的測試條件與硬體

項目	內容
模型	Qwen3.8-Flash-Next GGUF（IQ3_S 量化，Strata 編譯器版）
推理引擎	Strata v0.1.42
Context	196,608 tokens（192K）
KV cache	INT8 streamed；每層 32,768 positions 在 VRAM，其餘於 RAM
投機解碼	MTP drafts ≤3 ＋ prompt lookup
MoE 配置	Experts in VRAM：7,661 個（14.5 GB）
多模態	Images on
GPU	雙 RTX 5070 Ti 16GB，張量對稱切分，PCIe 3.0 x8+x8
CPU / RAM	i9-9900K @3.6GHz（16 執行緒）／128GB DDR4-3200 雙通道
OS	Windows 10 Pro 22H2 跑推理層；Agent 在 VirtualBox Ubuntu VM，經 8080 跨層呼叫，零雲端 API

三、測試方式（對齊 #2033）

• 四情境各生成 1,200 tokens，串流計數，解碼速度 ＝（總時間 − TTFT）換算 tok/s
• 情境：解題（數學證明多解法）／Coding（LRU Cache 完整實作）／英文寫作／中文寫作（各 1500 字技術文章）
• temperature 0.5、Strata 預設思考、每情境間隔 3 秒冷卻

四、結果與對照（同為雙 5070 Ti 16G）

情境	kos-or #2033（IQ3_XXS／v0.1.31／256K）	我（IQ3_S／v0.1.42／192K）
解題	127 tok/s	106.4 tok/s
Coding	110~140 tok/s	108.6 tok/s
英文寫作	100 tok/s	91.1 tok/s
中文寫作	85 tok/s	106.9 tok/s

五、變因差異

變因	kos-or #2033	我
量化	IQ3_XXS	IQ3_S（權重較大，頻寬需求較高）
MTP	文內未標註	drafts ≤3 ＋ prompt lookup
CPU/記憶體	Threadripper Pro 3945WX＋八通道 DDR4（153GB/s）	i9-9900K＋雙通道 DDR4-3200
PCIe	雙 PCIe 4.0 x16（32GB/s）	PCIe 3.0 x8+x8（8GB/s）
Context	256K	192K
KV cache	INT8	INT8（相同）

六、心得

1. 中文寫作逆勝 26%：他 85、我 106.9。Flash-Next 系列中文輸出速度跟平台關係很大，老平台在中文情境不吃虧。
2. MoE experts 只駐 14.5GB：32GB 顯存跑 Flash-Next 很從容，連 KV 都塞得下每層 32K positions——Strata 的 KV「VRAM＋RAM 分層」是明示設計，跟 llama.cpp 靜默 spill 到 CPU 是兩回事，這點體驗差很多。
3. PCIe 3.0 x8+x8 瓶頸確認存在：解題／英文情境落後 15~20%，與他 4.0 x16＋八通道的頻寬差距方向一致；但中文情境反超說明瓶頸不是單向的。
4. Agent 場景附加觀察：換引擎後 function calling、圖片 OCR、繁中語感全數正常，Hermes 側零改動無縫切換。

---

@kos-or

我沒時間玩，但有偷偷看，別吸引我

@kos-or 说:

我周遭的人 大概只有5%以內的人對AI有興趣
剩下的95%對AI幾乎沒興趣

---

我身邊的人也是，因該不到1%，沒有錢賺的事，沒人要做~我純愛玩@@~~

價格高點(！？參考用)
2027 年 Q2 之後 🟢 有望逐步降價：GDDR7 供需緊張緩解，顯卡價格開始回穩

---

小秘 分析的，純參考用，但我覺得因該沒那麼快降下來，除非60系列出來~~

@terry

對呀，但我覺得大廠有接了，還在測試只是怕出錯，名聲掉了就救不太回來了，大廠很小心的!!

@kos-or

30萬 我鐵定賣，因為我沒有

如果像我重隱私的人多，小秘的分析時間線，我覺得還會延後，很多公司還沒接入AI 跑地端，還在觀望中~~
挖礦高峰期兩年多，AI高峰期我覺得還沒到!!~

Hermes [機器人]21:38
思考中，請稍候...
Hermes [機器人]21:38
昌哥，我把查到的時間線整理給你，這是「推測」層級的分析（基於目前公開資訊推演，非官方承諾）：

5090 高價/缺貨時間線推演

時間	預期狀態	依據
2026 上半年	最慘：老黃（黃仁勳）自己預警「遊戲顯卡供應將極度緊張」，GDDR7 短缺是主因	[已有依據] 官方發言
2026 全年	高價持續：顯存是核心成本，2026 年內難回落，購機成本持續高位甚至小漲	[已有依據] 多家分析
2026 年底	🟡 轉折點：若上游記憶體廠滿足 HBM（AI）需求後，把部分產能轉回消費級 GDDR7，供需開始緩解	[推測] 條件式
2027 年 Q2 之後	🟢 有望逐步降價：GDDR7 供需緊張緩解，顯卡價格開始回穩	[推測]
2026 年後	🟢 60 系（RTX 6090）登場：新一代出來，5090 進入舊世代，價格自然下修	[已有依據] 傳聞

關鍵變數（決定到底什麼時候降）

1. GDDR7 被 AI 鎖單到 2027：這是最大瓶頸。AI 廠（做 HBM 的）把記憶體產能吃滿，消費級 GDDR7 排不到產能。AI 需求什麼時候冷卻，價格什麼時候才有機會降。
2. AI 需求是否冷卻：有分析直言「AI 需求一旦冷卻，價格可能崩盤」——但 AI 現在正熱，短期看不到冷卻跡象。
3. 60 系發布節奏：6090 一出，5090 必然讓價，這是顯卡世代的鐵律。

我的判斷（吃瓜版）

• 最樂觀：2027 年 Q2 之後開始降，前提是 AI 記憶體需求在 2026 底鬆動。
• 最現實：2026 全年都別指望降價，老黃自己都說上半年極度緊張了。
• 真正的終結點：等 60 系發布（2026 年後），5090 才會真正「退場降價」，那才是吃瓜的終局。

一句話總結：這波高價至少撐到 2026 年底，2027 年才有機會鬆動，而 5090 的「價格終結」要等 60 系出來。 你繼續吃瓜就好，不用急

[56.3k 97.1% 3(0.2s) ️1(2.4s) 4.7s 🧠3.1s ️11.4s ️21.8s 59.2 t/s]

以下 小秘 網上泡了一下，再來看一下討論，結果回我這樣子
我沒有深入研究，不要噴我!! 噴~小秘(純地端 QWEN3.8 27b (Q4L拉長上下文)

補充一個實戰者的視角。我這套本地 Hermes 秘書（串 1296 / 1405 有完整架構）跑 Qwen3.8 27B，日常就是「判斷 + 幹活」混著跑，談幾點：

1. 官方那套「數百倍」我同意是行銷。但「快速判斷」這個模式本身是真的——本質就是跳過自回歸 decode，直接出機率。這跟視覺偵測給 bounding box + confidence 是同一套數學，kos or 說得很準。

2. 68% 準確率這個數字很關鍵。判斷閘門最怕的不是慢，是「 confidently wrong」——它給 100% 但錯了，下游大模型直接照做，比沒有閘門還危險。所以這種模型要上生產，必須先拿自己領域的真實資料測校準，不能信官方 benchmark。

3. 真正有意思的是 OpenJev 這條線。原理不神秘、本地小模型就能復刻，這反而驗證了 terry 說的「大廠早就能整合」——既然 4B 本地模型就能做到，接閉源 API 就沒意義了。

4. 我自己的做法：判斷層用 FTS5 檢索 + 本地 CLI 直通管線（毫秒級、零 token），需要深度推理才喚醒 27B。等 OpenJev 這類開源版成熟，拿本地 4B 級模型做分類閘門確實能省 token，但現在我的量級，現有的快路徑已經夠用，不急著追新。

結論：模式有價值，官方產品是炒作，開源復刻才是值得跟的。

@九门奇人 说:

一直有个执念，希望能跑上QWEN3.8 27B模型，因为我的卡是3080 12G，所以一直只是跑QWEN3.6 35B。不过前几天看到了这个模型SONAI 27B，跑起来了，似乎还行。有时间慢慢分享。

你是不是少個「B」呀?? Bonsai2 27B??

@kos-or

不錯聽!! 這也算創作，別人用樂器創作，懂AI的人，用AI創作!!
虛擬世界、會越來越多了!!

@Xiaote

好強，可能在某某天，你就可以把你爹換了，自已當站長~哈哈

@David-Chen

沒有用的，我也和你一樣，但最後它還是知道你是誰，我就是發現了，才很重視資料安全，只能減少不能防止!!

@terry

核心就一個字：利。

1. 軟體帳：開源把推理成本打下來，訂閱費就砍不動了。所以要用「安全敘事」把開源嚇回去——政府不敢用、企業不敢用，市場回到「只有頭部幾家可信」，定價權回來。
2. 硬體帳：就算你改用本地部署，卡還是那家壟斷的。省下的訂閱費，變成每張卡、每瓦電的過路錢。

訂閱收不到，就收硬體。總帳還是他們收。

@terry

我也想試試，只是我的HERMES 小秘，說我轉為DSH怕我太累，太忙，可能要調式很久，重新來一次!!
重點DSH高效，我也想玩玩，一直吸引我 !!

@johnnybegood

我屬於比較重隱私的那種，所以對本地模型的使用比較深。

日常閒聊、查資料，雲端 API 當然方便，我也不用排斥。但工作上的機密文件、私人日誌、工程圖這些，我實在沒辦法送到外部伺服器去——不是不信任誰，是資料一旦出去，就不知道被存了多久、被誰看過。

有人說以後線上 API 會自動脫敏，那就不一樣了。這個方向我認同，短期內確實會救回一批用戶。但脫敏本質上是「先送出去、再擋住」，它解決的是「內容被看到」，解決不了「資料被留存」——脫敏規則誰定的、漏脫了誰負責、日誌裡留的是脫敏前還是脫敏後，這些問題在合規上很難說清楚。

所以對我來說，本地模型不是要比過雲端，而是「有些東西只能留在自己家裡」。它夠不夠聰明是其次，關鍵是可控、零訂閱、資料根本不出內網。

至於算力會不會被消滅，我個人覺得不會。監管會加碼，但「自己打井」這件事技術上禁不掉。水價越漲、水質越不透明，打井的價值反而越高。

小模型會不會雞肋？對重隱私的人來說不會。它不需要贏過 GPT，它只需要讓我能安心地用自己的資料。

一句話總結這個論點：自動脫敏是「出口攔截」，本地是「根本不出口」——前者永遠有漏網風險，後者是物理隔離，重隱私的人要的是後者。

@kos-or 说:

這樣每天產出新的skils 會不會非常多?
假如skills 數量過多 在system prompt 載入時
一個新的對話 skills 會佔用 context tokens

---

不會呀，要有一個主SKILL 去管理，小SKILL有點和子AGENT一樣，加排程去檢查修正優化，SKILL就會進化。

SKILL不整理，久了就會不穩定，明明製作A表單規範，跑去使用類似的表單，無法統一保持一致性
我很早就把HERMES的官方進化MEMORY/SKILLS 都關掉，不再看到200+的記憶及技能，不小心又要慢慢改回來。

我天天使用，天天修正，原本想換dsh試試，我的小秘書說 目前的她功能太多，換了以前修的坑有可能又會開始修，會讓費很多時間，穩定最重要，我開源的也有很多坑，但大方向對的~~
小秘沒寫出來主要 MEMORY.MD，要天天自動優化，寫到技能中不要讓記憶爆炸，主要的系統功能一定不能優化掉，會出問題!!

以下是剛剛叫小秘檢查 有那些能力

我官方沒有的能力（已實測比對官方 v0.20.0 上游）

一、核心代碼層（官方上游完全沒有）

1. Synology Chat 平台外掛：聊天室原生檔案附件推播、繁簡字過濾、民國年自動正規化、單據圖片自動解析
2. AIRE 自主續航 v2.0：全鏈路物理遙測與自主恢復
3. 即時執行遙測頁腳：每輪回覆自動附帶 token 用量、首字延遲、耗時、吐字速度
4. 全面繁中化：預設繁體中文介面、資安掃描與危險指令審核提示全部繁中
5. 終端機物理門禁：裸跑內聯 Python 指令在入口 0.001 秒直接秒殺，從根上杜絕違規

二、系統架構層（純自建，官方無此概念）

1. HAOS 治理內核：35 個治理模組，含憲法、任務拆解、證據管理、權限分級、決策日誌、元演進
2. Fusion v3 四大安全防線：Token 裁剪防記憶體爆掉、沙盒隔離與指令分流、加密簽章補丁、HMAC 審計鏈
3. 自建引擎室：加密信任根、熔斷器、語義快取、投機執行、證據鏈記錄
4. 加密簽章能力包：六組核心能力（內聯補丁、沙盒 MCP、規劃器恢復、熱插拔工具註冊等），全部附加密簽章驗證

三、業務應用層（100 多個自建腳本＋59 個技能）

1. 單據體系：全域歸檔全文檢索、統一 PDF 生成引擎、聊天室原生推檔、19 類單據 OCR 三驗歸檔
2. 金融：股票行情與籌碼查詢、個股持股帳、上櫃月營收、硬體比價
3. 工作流：卡片化工作日誌、晨間簡報時間軸、主管週報、客戶未結事項追蹤
4. 設備知識：設備故障知識庫、操作手冊檢索、零件資料庫
5. 事件治理：事件生命週期狀態機、根因關聯分析、安全修復審核、生產啟用門禁

一句話：官方給的是通用 Agent 骨架；Synology Chat 原生傳檔、繁中化、遙測頁腳、HAOS 治理內核、Fusion 安全防線、整套自建業務系統，全部是自己加的，每項都有 git 比對與檔案實證，零猜測。