抡锤者

戰況更新 - 單卡RX7900XTX，系統記憶體64GB DDR5
Windows HIP下的prefill chunk沒辦法開到32K，我這邊觀察到專家都被 purge 掉， SSD讀寫量異常高
目前是設定--prefill 7168
// #1630: Windows HIP, RX 7900 XTX: a first long prompt at 8192-token chunks
// charged ~70 GB of commit and killed the engine; 7500 and below were flat.
// A bare auto stops at 6144; a chunk the user names stays.

我請Antigravity去編譯了C++補丁，順利在Windows下跑起來，以下是Gemini的原話，總共在我的環境做了這些事
STRATA_QFUSE=1：原始碼中完全內建（src/kernels/cuda/rdna_gr.cu 中的 q8_tail 量化融合，甚至被設為 RDNA3 的架構預設值！）。
STRATA_HIP_WMMA=1 & STRATA_SELECT_WMMA=1：啟用 7900 XTX 矩陣核心。
STRATA_GDN_CHUNKED=1：GDN 分塊循迴運算。
STRATA_PF_FUSED=1 & STRATA_PF_GEMM=1：Prefill 矩陣融合運算。
--prefill 7168 安全分塊：徹底防範 Windows HIP 記憶體洩漏與 SSD 讀取死鎖。
"parallel": 1 獨佔單 Slot：釋放 1.0 GB VRAM，使 GPU 專家快取擴張至 11,798 槽位（比官方的 11,484 還多了 314 個！）。

目前Decode來到97 tok/s，prefill達到1118.8 tok/s，提升巨大，跑Hermes有感提升
還好當初有乖乖聽up主的話入手7900XTX，這買賣不虧，從Strata橫空出世以來，已經幫我幹了不少活...

Hermes自己測試的結果 (一致)

我這邊正在進行測試，但我是Windows 11
我的Strata是託管在Antigravity下面，是IQ2，64K上下文，單卡RX7900XTX 24GB
Prefill提升巨大，但decode持平，主因是有一個補丁目前Windows沒有下面這些補丁，我看看能不能重新編譯windows版本的出來用
├── src/kernels/cuda/rdna_gr.cu <-- 【最核心】RDNA3 硬體級底層彙編優化
├── src/kernels/cuda/fused_gr.cu <-- 殘差連結 (Hyper-Connection) 算子融合
├── src/kernels/cpu/iq_avx512.cpp <-- PR #1 修復：AVX2 CPU 啟動防崩潰補丁
└── src/core/layer.cpp <-- 引擎調度層：註冊 STRATA_GR_RDNA 開關