抡锤者

買張R9700吧, 雖然漲了但還算在可以接受的範圍。

@rori
4根 DDR3 32GB 已經做過交叉測試了, 獨立一條或兩條都 都可以正常工作. 就是插上四根會不穩定

@rori
E5 2673V3 我試過降到1333 也不行, 一旦超過 60GB 佔用就很大機會卡死。
CPU 限制100W功耗也試過, 也是一樣的結果。
RAM 應該和樓主一樣型號
電源應該沒有故障, 九州風神 1000W 帶 E5 2673V3 , r9700 + 3060 12GB
我個人是懷疑主板兼容有問題.

我的精粵也有問題, 我的四插4根高負載時有機會卡死, 必須要重開正才能正常.

找codex 幫你弄一下

老哥3080買那一家的, 近期想入手一張

就是這樣直接要求codex搞的，大概花了25%的5小額度

這是設定的json, 有需要就自己拿走
strata-iq3_xxs.json

@terry

特哥分享個最新的設定, 我"友好"地要求codex 幫我試參數做出來的結果.

codex 說他是這樣子做的
"已改好正式配置，並用原本的 run-iq3_xxs.sh 啟動。RTX 3060（實體 GPU 1）負責主模型與 prefill；RTX 3070（實體 GPU 0）負責解碼時的 expert cache。 因此在 prefill 期間看到 3070 利用率低，是這個配置的正常情況；日誌已確認它在解碼時運作。
固定提示測試 Prefill
3070 主卡、雙卡分層 142 tok/s
3060 主卡、雙卡分層 211 tok/s
3060 主卡、3070 expert cache"

沒想到兩張垃圾卡也會有春天

最近把 Strata 接到 Hermes Agent，作為本地模型後端，已經用了一兩天。想分享一下目前的配置和使用感受，給同樣想用手上的舊硬體跑大型 MoE 模型的人參考。
先說結論：以我目前的用途來說，體驗滿好的。
我的工作負載主要是：

• 作為 Hermes Agent 的主模型 Provider
• 文件閱讀、整理與分析
• 資料整理與產出
• 一般需要呼叫工具的 Agent 任務
• 長 Context 文件處理
  我沒有拿它大量寫程式，也沒有特別追求最高 TPS。因此，這篇主要是日常使用分享，並不是標準 Benchmark。

機器的近照(丟桌子底下)

硬體	配置
GPU 1	NVIDIA GeForce RTX 3070 8GB
GPU 2	NVIDIA GeForce RTX 3060 12GB
CPU	Intel Xeon E5-2673 v3 @ 2.40GHz
RAM	64GB
OS	Linux

兩張顯示卡都是以前的電腦退役後留下來的。(一張是純遊戲卡，另一張是我妹妹電腦換下來)

要新組一台專門跑 LLM 的機器，我個人會比較傾向選擇單張 VRAM 更大、架構更新的 GPU。
Strata 會把常用的 experts 快取到 VRAM，其餘部分由 RAM／CPU 處理。VRAM 越大，理論上就能讓更多 experts 留在 GPU，減少部分 CPU／PCIe 資料傳輸。
雖然 Strata 已經支援 Multi-GPU layer split，但 GPU 之間仍有階段交接的成本。所以，兩張卡加起來有 20GB VRAM，並不代表效能就會等同於一張 20GB 的卡。相關設計可以參考官方 Multi-GPU 文件。
使用的模型

目前使用的是：

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S
模型來源是 ISTA-DASLab / Qwen3.8-Flash-Next-GSQ-RCO-GGUF。
這是一個有 512 個 routed experts、每個 Token 啟用其中 10 個的 MoE 模型。
ISTA-DASLab 提供的 IQ3_S 版本平均約 3.50 bpw，完整下載約 83.6GB

主要設定如下：
Quantization: IQ3_S
Context: 131072
KV Cache: q4_0
KV Resident: 32768
Expert Cache: auto
Prefill: 1024
Speculation: 4
Spec min-p: 0.5
MTP: enabled
Vision: enabled
GPU: RTX 3070 + RTX 3060
VRAM reserve: 700 MiB

實際表現

截圖是在 Hermes Agent 已經進行了一段長 Context 對話之後拍的，當時的狀態大約是：
Context 使用量：約 57K / 128K
VRAM：約 18.1 / 20GB
GPU 0：約 7.4GB
GPU 1：約 10.7GB
RAM：約 10GB / 63GB
最近幾次請求，Decode 速度大約落在 18～24 tokens/s。
截圖當下則是：
Decode：16.9 tok/s
Prompt reading：約 126 tok/s
當時 Context 已经累積到五、六萬 Token，而且是接在 Hermes Agent 上實際處理任務。以這樣的使用情境來說，這個速度對我而言已經可以接受。
用起來的感受
如果問我能不能拿它當 Agent 的主模型，我目前的答案是：可以，至少我的工作內容用起來沒什麼大問題。
平常的任務大致是：
讀取文件 → 整理與分析 → 產生資料 → 呼叫工具 → 整理結果

這台洋垃，加上兩張從舊電腦留下來的 RTX 3070 和 RTX 3060，現在能繼續當 Hermes Agent 的 128K 本地模型 Provider，幫我處理日常文件和資料任務。　
能把原本閒置的硬體重新用起來，而且用得還挺順，對我來說就已經很值得了。　
順手給一下json 給大家參考 (配置文件皆由codex 生成，我本人沒有動手調整過。 )
strata-iq3_s-hermes-dual-gpu.json

5060TI 最多只能到IQ3，
目前我自己在用　Qwen3.8-27B-GSQ-RCO-GGUF IQ3XXS , 上下文 131072 (KV都用Q4), 沒開MTP , 沒加mmproj。
開始可以30 T/S, 到後面上下文開始多會下跌多17-20 T/S ，deepseek harness做點小程式還過得去．
Ｑ４會offload 只有 10 T/S以下。基本上完全不可用.
如果真的要玩AI 就考慮下特哥建議的 7900XTX 或者 3090 那些, 會舒服很多.

老黃的 RTX Spark 預計 10 月正式發售，我自己其實相當期待。

不過這台機器有一個很明顯的限制：最大只有 128GB 統一記憶體。

這個容量很微妙，說大不算特別大，說小其實又已經可以玩不少東西。像 Qwen 3.8 27B、Flash Next 這類模型，理論上都相當有可玩性；但再往上走，遇到 DeepSeek V4.1、GLM 這類更大型模型，128GB 就開始顯得捉襟見肘。

尤其如果未來本地模型繼續往 100B、200B 甚至更高參數量發展，128GB 到底可以撐多久，我覺得會是一個很值得討論的問題。

想聽聽各路大神怎麼看這台機器：
你們覺得 128GB 夠用嗎？還是很快就會變成 RTX Spark 最大的瓶頸？