RTX 5070 12G (48G 内存) 单卡跑 Strata + Qwen3.8 Flash-Next
-
今天给NAS买的128g DDR4内存到了, 就匀了16G闲置内存到台式机。过程很顺利,跟DSH的deepseek flash 许了个愿,喂给它论坛的帖子,一会就好了。Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS。 总共48g内存, 只是勉强够, 速度倒是不错, 只是空余内存很少,估计干不了什么正经事, 纯娱乐吧。估计以后可以让nas跑长任务, 然后分一些小活给台式机同时做。 (这几天折腾了下让两台机器协同工作, 不过还没整明白)
关于NAS的128g内存+ 7900xtx 被Deepseek flash坑了, 它框框一顿操作了2个多小时, 还是在抄论坛作业的情况下, 告诉我最快16tk/s。 我只好自己下场找原因, 晚点整理好发上来。
1. 环境
项目 配置 操作系统 windows 11 GPU RTX 5070 12GB(sm_120),单卡 CPU Ryzen 9 5900XT 16C/32T,仅 AVX2 RAM 48GB DDR4-2933 Strata v0.1.41 官方 CUDA 引擎 量化 IQ2_XS Context 32768 图像输入 关闭(mmproj 文件有,但没启用) 图像没开:省下约 1GB 显存留给专家缓存
2. 关键参数
参数 值 --expert-cacheauto--kvint8--spec4--pcie-frac0.35 --spec-min-p0.70 --pool-workers10 --adapt-every / -swaps / -decay1 / 80 / 0.97 idle_unload_s900后 6 项全是
--calibrate实测出来的。3. 成绩
场景 Decode 校准前 76.4 t/s 校准后 82.2 t/s 512 token 稳态 81.3 t/s 数学/结构化短答 89 ~ 96 t/s 技术长文 74 ~ 82 t/s