硬件 / 软件环境

文件体积与速度总表

PP = prefill，TG = decode，速度单位均为tokens/s；每格按 PP / TG 排列。GB按10⁹字节，括号GiB按2³⁰字节。

体积口径： 原GGUF分片合计包含包内N-gram。IQ4_XS和Q5_K_XL另外使用独立Q8表，所以额外计入54.40GB；Q4_K_XL直接使用包内28.80GB的IQ4_NL表，不再重复加一次。合计不含native pack、MTP、视觉投影及备用文件，不等于RAM占用。

测速口径： IQ4_XS与Q5_K_XL取对应最终配置的固定新输入记录，temperature=0、top_k=1、top_p=1、seed=42，各输出384 tokens，禁止prompt复用。Q4_K_XL取最终版本的完整无缓存日常日志：约8K一栏为11条记录的中位数，输入7,961～8,072、输出158～506 tokens；64,358一栏为单次150-token输出。Q4日常请求的实际采样未统一。不同输入语料、输出长度、PLE方式和引擎版本的结果只作整套配置参考，不作为严格同条件量化排名。

三套共用参数

以下是启动参数片段，公共段与对应方案段合并使用。模型、pack、MTP和profile路径按各自安装目录填写；数值取实际最终配置。

--pack "$PACK_DIR" \
--native "$MODEL_GGUF" \
--expert-profile "$EXPERT_PROFILE" \
--mtp "$MTP_DIR" \
--expert-cache auto \
--max-context 153600 \
--spec 5 \
--spec-min-p 0.70 \
--mtp-window 4096 \
--mtp-q4 all \
--pcie-frac 0.20 \
--kv int8 \
--kv-resident 32768 \
--pool-tasks 96 \
--ple-row-cache 1048576 \
--prompt-cache 12 \
--prompt-cache-tail \
--adapt-every 1 \
--adapt-decay 0.97 \
--conversation-cache-min-tokens 2000 \
--conversation-cache-min-free-mib 2048 \
--stats \
--vision

公共MTP数据目录为rt格式。三套默认采样均为temperature=0.5、top_p=0.95、top_k=40；客户端显式参数可以覆盖默认值。

1. IQ4_XS-v31

• 引擎：RDNA3 0.1.49.1。
• 主模型：UD-IQ4_XS-v31，4个GGUF分片。
• PLE：独立Q8_0表，mmap读取；实际文件为1MiB ZFS数据块。
• 专家arena约56.24GiB，不含N-gram缓存、KV和系统开销。

--pool-workers 12 \
--prefill 32768 \
--vram-reserve-mib 768 \
--ple-io mmap \
--ple-gguf "$Q8_ENGRAM" \
--adapt-swaps 80 \
--conversation-cache-mib 4096 \
--conversation-cache-slots 4 \
--mtp-draft-vocab "$ZH60K_DRAFT_VOCAB"

对应方案环境变量：

export STRATA_PREFILL_CPU_SHARE=0.6
export STRATA_PREFILL_CPU_SHARE_MAX=7936
export STRATA_ADAPT_OVERLAP=1
export STRATA_TOPK_SPLIT_MIN=98304
export STRATA_QSA_ROWS=1
export STRATA_ENGINE_NICE=0

2. UD-Q4_K_XL

• 引擎：RDNA3 0.1.43。
• 主模型：UD-Q4_K_XL，4个GGUF分片。
• PLE：直接使用包内的IQ4_NL表，ram模式锁入内存。
• 专家arena约71.73GiB；加上约26.82GiB的PLE表及其他开销，128GB内存接近满载。
• Prefill为auto，最终上限32768；未额外指定mtp-draft-vocab。

--pool-workers 12 \
--prefill auto \
--vram-reserve-mib 512 \
--ple-io ram \
--adapt-swaps 160 \
--conversation-cache-mib 2048 \
--conversation-cache-slots 2

对应方案环境变量：

export STRATA_PREFILL_AUTO_MAX=32768
export STRATA_PREFILL_CPU_SHARE=auto
export STRATA_PREFILL_CPU_SHARE_MAX=6144
export STRATA_PREFILL_MMQ_TILE_ROWS=32
export STRATA_PF_SWITCH_MIN_T=4096
export STRATA_WMMA_GEMM=1

3. UD-Q5_K_XL（当前在用）

• 引擎：RDNA3 0.1.49.1。
• 主模型：UD-Q5_K_XL，6个GGUF分片。
• PLE：独立Q8_0表，direct读取；使用16KiB ZFS数据块的文件副本。
• 专家arena约91.61GiB。N-gram表放在NVMe按需读取，不将整张54.40GB表锁入RAM。
• 所用Q8表与原表字节相同，SHA256校验通过；主模型专家仍完整放在RAM。

--pool-workers 10 \
--prefill 32768 \
--vram-reserve-mib 832 \
--ple-io direct \
--ple-gguf "$Q8_ENGRAM_16K" \
--adapt-swaps 160 \
--conversation-cache-mib 4096 \
--conversation-cache-slots 4 \
--mtp-draft-vocab "$ZH60K_DRAFT_VOCAB"

对应方案环境变量：

export STRATA_PREFILL_CPU_SHARE=0.6
export STRATA_PREFILL_CPU_SHARE_MAX=7936
export STRATA_ADAPT_OVERLAP=1
export STRATA_TOPK_SPLIT_MIN=98304
export STRATA_QSA_ROWS=1
export STRATA_ENGINE_NICE=0

当前Q5配置另通过了两轮150,000-token输入检索验证。GPU加载模型后的待机实测为0%占用、约23W。

共用环境变量

下面是三套配置中取值相同的环境变量；与各方案自己的环境段一起使用。HIPBLASLT_TABLE应指向与本机gfx1100、hipBLASLt 100401相匹配的调优表。

export HIP_PLATFORM=amd
export ROCM_PATH=/opt/rocm
export HIP_PATH=/opt/rocm
export HSA_OVERRIDE_GFX_VERSION=11.0.0
export LD_LIBRARY_PATH=/opt/rocm/lib
export GPU_MAX_HW_QUEUES=6
export STRATA_HIP_WMMA=1
export STRATA_SELECT_WMMA=1
export STRATA_HC_UPMIX=1
export STRATA_HEAD_MIX_MULTI=1
export STRATA_GR_RDNA=1
export STRATA_GR_RDNA_Q8=1
export STRATA_GR_RDNA_A8=1
export STRATA_GR_FUSED=1
export STRATA_GR_INJ_UP=1
export STRATA_GDN_CHUNKED=1
export STRATA_GDN_HEAD=1
export STRATA_GDN_CONVL2=1
export STRATA_GDN_NOY=1
export STRATA_GDN_PP=1
export STRATA_GDN_CHUNK_GDV=0
export STRATA_PF_FUSED=1
export STRATA_PF_GEMM=1
export STRATA_PF_F16=2
export STRATA_PF_HCDOWN=1
export STRATA_PF_PAD=1
export STRATA_PF_GROUP_RES=1
export STRATA_PREFILL_RING=384
export STRATA_QFUSE=1
export STRATA_PA_FAST=1
export STRATA_PA_KLDS=1
export STRATA_KV_HOST_DMA=1
export STRATA_COMBINE_CPU=1
export STRATA_WAIT_FUSE=1
export STRATA_ROUTE_PUBLISH=1
export STRATA_VERIFY_QDEDUP=1
export STRATA_RDNA_MMVQ_WAVE=3
export STRATA_RDNA_Q6K=1
export STRATA_STAGER_RING=64
export STRATA_PEER_TRANSPORT=host
export STRATA_HIPBLASLT_TUNING="$HIPBLASLT_TABLE"
export STRATA_PF_FUSED_KQ=1
export STRATA_FUSE_CONVAB=1
export STRATA_SH_STREAM=0

ZFS的16KiB块需要对应文件实际以该块大小写入；改变dataset的recordsize不会自动改变旧文件的数据块。当前整个models dataset仍为1MiB，Q5所用独立Q8表副本为16KiB。

项目：Strata RDNA3；模型：Unsloth Qwen3.8-Flash-Next GGUF。