跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
Ge FuG

Ge Fu

@Ge Fu
取消关注 关注
关于
帖子
3
主题
1
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 32G内存不能打?本帖会让你惊掉下巴!
    Ge FuG Ge Fu
    LLM讨论区 7900xtx rtx3080 strata

    @williamlouis 至于您提到了亮点,那不是显而易见的吗?32G的内存跑出如此的prefill和decode,智能度上也并不差IQ3 S ,我是非常满意了。


  • 32G内存不能打?本帖会让你惊掉下巴!
    Ge FuG Ge Fu
    LLM讨论区 7900xtx rtx3080 strata

    @williamlouis 纯经验分享呀,刷啥分?没必要


  • 32G内存不能打?本帖会让你惊掉下巴!
    Ge FuG Ge Fu
    LLM讨论区 7900xtx rtx3080 strata

    两台机器 Strata 长上下文实测:7900 XTX + 256GB(IQ3_S)对比 RTX 3080 20GB + 32GB(TQ2_0 + gyro pack)。一个是 AMD GPU decode、一个是 NVIDIA GPU decode,内存差 8 倍。

    硬件 / 软件环境

    项目 A:7900 XTX B:RTX 3080
    CPU 双路 Intel Xeon E5-2696 v3 @ 2.30GHz,每颗18核,共36核72线程,Haswell AVX2 Intel Core Ultra 7 270K Plus,8P+16E共24核24线程(无超线程),最大睿频5.5GHz
    GPU AMD RX 7900 XTX,24GB,gfx1100 NVIDIA RTX 3080,20GB(魔改),sm_86
    内存 256GB DDR3 ECC(8×32GB,1866 MT/s),系统识别约251GiB;专家常驻约46.84GiB page-locked 2×16GB DDR5 6000;常驻后约30GiB在用,贴着上限跑
    模型存储 PCIe SSD 953.9GB PCIe SSD 953.9GB
    系统 Ubuntu 24.04.4 LTS,Linux 6.8.0-149 Ubuntu 24.04.4 LTS,Linux 6.8.0-149
    GPU栈 ROCm(pip SDK),HSA_OVERRIDE_GFX_VERSION=11.0.0,hipBLASLt调优表 gfx1100-100200 CUDA 13,驱动595.99.02;引擎实测PCIe 25.4 GB/s
    推理后端 Strata RDNA3 fork(自编译) Strata 0.1.60 cuda13构建
    GPU队列 GPU_MAX_HW_QUEUES=6 默认

    文件体积与速度总表

    PP = prefill,TG = decode,速度单位均为 tokens/s;每格按 PP / TG 排列。GB按10⁹字节。

    配置 模型 GB pack + MTP GB 合计 GB 4K PP/TG 16K PP/TG 32K PP/TG 64K PP/TG 128K PP/TG
    A:IQ3_S(GSQ-RCO)+ iq3_s pack,7900 XTX 83.62(2分片,含IQ4_NL PLE表28.80) 1.55 + 0.82 86.00 690 / 116.2 2268 / 112.6 2959 / 108.2 2480 / 115.5 2905 / 119.2
    B:TQ2_0 + gyro-gyro-m pack,3080 20GB 91.97(含包内PLE表) 33.58 + 0.82 126.37 2011 / 98.9 2375 / 98.7 2478 / 96.4 2449 / 101.0 2355 / 87.3

    两行速度均为冷启动新输入(prompt cache reused=0)口径,同档位可比。

    体积口径:模型 GB 为 GGUF 分片之和(含包内 N-gram/PLE 表);pack 为 APR 包,MTP 为 rt 格式 draft。合计为磁盘文件之和,不等于 RAM 占用。A 机专家常驻 46.84GiB + GPU缓存 17.35GiB(9146 experts);B 机专家常驻 23.26GiB page-locked + GPU缓存 1071 slots(1.30GiB),其余走文件层。

    测速口径:统一按 4K / 16K / 32K / 64K / 128K 五档、每档 3 次,全部取冷启动新输入(prompt cache reused=0)的引擎日志记录,temperature=0、输出 ≤256 tokens,按档位取中位数。A 机为刚才实跑的同语料基准(合成 CJK 填充语料,实际 prompt token 2,201 / 8,558 / 17,021 / 33,947 / 67,801);B 机取自生产引擎日志中同口径的历史记录(prompt 落在各档 ±12% 内、输出 ≥200 tokens,n=6~29/档)。语料不完全相同,数字作整套配置参考。

    解码与缓存

    指标 A:7900 XTX B:3080
    TG @4K(冷启动) 116.2 98.9
    TG @128K(冷启动) 119.2 87.3
    PP @4K(冷启动) 690 ~2011
    PP @128K(冷启动) 2905 2355
    专家缓存 hit 中位 97%~98%(本次基准全程) 88%;高负载请求 93~95%

    两台都是 MTP spec=4、spec-min-p 0.5。A 机 hit 常年 96%+,基本纯显存+RAM 推理,TG 全程 100+ 不随上下文衰减;B 机 RAM 只有 32GB,hit 低一档,长上下文时 PCIe 补传成为瓶颈,128K 档 TG 掉到 87。

    启动参数

    A(7900 XTX / IQ3_S):

    --serve \
    --pack "$PACK_DIR" \
    --native "$GGUF_00001" \
    --ple-gguf "$GGUF_00002" \
    --expert-profile "$EXPERT_PROFILE" \
    --expert-cache auto \
    --prefill auto:32768 \
    --spec 4 \
    --spec-min-p 0.5 \
    --mtp "$MTP_RT_DIR" \
    --mtp-window 4096 \
    --max-context 262144 \
    --ple-io direct \
    --kv int8 \
    --vram-reserve-mib 768 \
    --kv-resident 32768 \
    --pcie-frac 0 \
    --pool-workers 24 \
    --mtp-q4 all \
    --vision \
    --conversation-cache-mib 98304 \
    --conversation-cache-slots 64 \
    --conversation-cache-min-tokens 2000 \
    --conversation-cache-min-free-mib 8192
    

    A 机环境变量要点:HSA_OVERRIDE_GFX_VERSION=11.0.0、GPU_MAX_HW_QUEUES=6、STRATA_HIPBLASLT_TUNING=gfx1100表、RDNA kernel 开关一批(GR_RDNA / GDN / PF_FUSED 系列)、STRATA_SH_STREAM=0(实测开=掉15%)。

    B(3080 / TQ2_0):

    --serve \
    --pack "$PACK_DIR" \
    --native "$MODEL_GGUF" \
    --ple-gguf "$MODEL_GGUF" \
    --expert-profile "$EXPERT_PROFILE" \
    --expert-cache auto \
    --prefill auto \
    --spec 4 \
    --spec-min-p 0.5 \
    --mtp "$MTP_RT_DIR" \
    --max-context 262144 \
    --kv int8 \
    --mmap-experts \
    --resident-experts \
    --vram-reserve-mib 768 \
    --ple-io mmap \
    --ple-row-cache 4000000
    

    B 机非默认环境变量只有三项:STRATA_NO_ACQUIRE=1、CUDA_DEVICE_ORDER=PCI_BUS_ID、STRATA_RESIDENT_HEADROOM_GIB=3;引擎自动项:CPU pool 22 workers、prefill chunk 自动降到 8192(RAM 不够常驻专家+大块)、batch 2 slot。

    视觉助手两台都放 CPU(strata-vision,不占显存)——小显存卡的必要配置;B 机因此腾出的显存全部给了专家缓存。

    智能程度对比(量化档差异)

    两台同底模 Qwen3.8-Flash-Next,只差量化档:A = GSQ-RCO-IQ3_S(约3bit),B = Gyro-M TQ2_0(约2bit)。14 题混合卷(算术、逻辑、代码阅读、中文填空/常识、指令格式、信息抽取),两台同题同参、同轮并行各跑一遍:

    • reasoning_effort = medium(两台统一,不用 xhigh)
    • max_tokens = 32768,保证思考链+正文都装得下,不靠截断逼答案
    • temperature = 0,只采信 finish_reason=stop 的完整回答
    指标 A:IQ3_S B:TQ2_0
    得分(14题) 13/14 13/14
    有效13题输出 tokens 1,834 2,047(多12%)
    有效13题思考字符 3,417 3,670(多7%)
    平均单题耗时 2.9s 2.4s
    长生成(宫殿题)耗时 225s 108s

    唯一未通过的是数列题(2,3,5,11,31),我把这题标为作废——它本身有歧义(多种规律都能自圆其说),两台也给出了不同答案。但两台的失败方式有区别,值得记下来:A 思考了 46,764 字符、撞满 32,768 token 上限(finish=length),一个字的答案都没吐出来;B 在 24,598 token 时自行收尾、答了 106(错)。A 这种"思考跑飞"是真实存在的稳定性差异,B 没有出现。

    除此之外 13 题两台全对,正确率没有可测差距。可测的差异是 token 效率与速度:A 每题省约 12% token,B 平均快 0.5 秒/题,长任务上快一倍。

    长任务对比(宫殿设计,medium 档重测)

    11-18 晚在干净状态下用 medium 档把宫殿题在两台重跑了一遍(原 xhigh 数据按要求全部弃用)。题目:明清官式「承天宫」设计说明书,12 项硬约束 + 术语解释 + 工序顺序 + 2500 字下限,max_tokens=24000:

    方案 输出tokens 思考字符 耗时 正文字数 12项硬约束 术语3项 工序顺序 建筑尺度
    A:IQ3_S(medium) 23,365 29,799 225s 4,764 12/12 3/3 正确 崩
    B:TQ2_0(medium) 13,060 12,528 108s 3,029 12/12 3/3 正确 合理

    两台的硬约束、斗拱/顶型解释、工序顺序都满分,差别全在尺度校验上:

    • A 照字面执行模数,算出了荒谬的尺寸:题面给「斗口=0.1米,主殿明间取7斗口」,A 老老实实做成 0.70 米/间,于是九间主殿面阔总长只有 4.30 米,整座宫城 18 米 × 14 米——比一间农舍还小,却写着"皇家宫殿"。
    • B 看出尺度不对,自己把模数改了:把"7斗口"理解成"七十斗口=7米",主殿面阔总长 47 米,宫城 120 米 × 70 米,尺度站得住;代价是违反了题面的字面约束,而且没有说明为什么改。

    所以这题的真实结论是没有谁全面胜出:A 更"听话"但不会做常识校验,B 会做常识校验但擅自改条件。顺带说明,这题的条件本身自相矛盾(斗口 0.1 米 × 7 斗口 = 0.7 米/间,凑不出九间宫殿),严格说这是出题方的锅。

    另:宝光寺扩建(9座建筑)那题之前只跑过 xhigh 档,按要求一并弃用,这轮没重测,所以本文不含该题数据。

    补充一个校验器口径:自动校验器把两台的"工序顺序"都判false,是误判——它取全文首次出现位置,而前面的说明章节早就提过"台基""柱""梁",真正的施工工序章里两台都是 基础→台基→柱网→梁架→屋面→装修→彩画 的正确顺序,我逐段人工核对过。

    几点经验

    • 内存比 GPU 更决定上限:A 机 256GB RAM 让 IQ3_S 专家全驻留(hit 97%+),128K 档 TG 还有 119;B 机 32GB 只装得下 23.26GiB 常驻,128K 档 hit 掉下来 TG 掉到 87。
    • 短输入的 PP 看 CPU 路径:4K 冷启动 A 机只有 690 tok/s(Xeon Haswell 的 AVX2 首块 prefill 拖底),B 机靠 270K Plus 跑到 ~2011;长输入两边都走 GPU fused kernel,A 机反而更高。
    • swap 必须彻底关掉:MoE 专家被换页到磁盘会让 decode 成倍变慢,宁可 OOM。
    • B 机短请求 PP 只有几百 tok/s 是 prompt cache 复用后的增量口径,别拿去和冷启动比。
    • A 机 --pcie-frac 0 + --kv-resident 32768:专家全驻留后不需要按比例预取,KV 常驻换长上下文稳定性。

    项目:Strata;模型:Qwen3.8-Flash-Next GGUF(A:GSQ-RCO-IQ3_S;B:Gyro-M TQ2_0 abliterated + gyro pack)。

    B1.png

    A1.png

    其实做agent的时候,decode的速度基本都没有下过100,很多时候都是跑到120以上,峰值最高曾经有169

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组