qwen 3.8 flash netxt 首字token速度要几十秒,你们是这样吗
zzsoszz
-
7900 XTX单卡:prefill 2086→3205,decode 64.7→96.3 -
神了, 7900xtx 单卡prefill 3,570 tok/s decode 106.6 tok/s, Strata RDNA3 fork:安装、调优与 32K–256K 性能实测根据你文章复现了一下,速度挺快,就是经常报错,不知道是不是推理引擎有不过麻烦帮忙看看,这是ai分析的结论:
找到具体错误了:Strata 在生成阶段的第 36 层 verification 超时,释放 GPU 等待后又等了 5 秒,GPU 仍未完成,于是引擎被终止,当前请求返回 error;随后 Python 服务自动重载引擎并恢复。
这次不是单纯的 Codex 连接超时。另外,我之前的停机保护只监视 engine.log,而这条致命错误写在 lan-server.log,因此漏掉了它。我会补齐这处检测,并继续核对错误发生时间附近的内存和驱动记录。
-----------主机配置
机箱:DELL T7960 2200W工作站 机箱
处理器:INTEL W7-3565X CPU(82.5MB 缓存, 32核, 64线程,睿频至高可达 4.8GHz Turbo 335W)
内存:2条DELL 32G DDR5 5600RECC内存
硬盘:DELL 1T M.2 NVME固态硬盘( M.2 PCIe 固态转转接卡)+DELL 4T 3.5英寸 5.4K SATA机械硬盘
其他:DELL 电源线,国标16A转C19,1.5米
附加固态硬盘:致钛tipro900 4t+tiplus 900 4t
显卡:rtx 4090d 48g -
T7960+64g内存+RTX4090d 48g+4t SSD 跑 DeepSeek-V4.1-Flash 2.00bpw 测速机箱:DELL T7960 2200W工作站 机箱
处理器:INTEL W7-3565X CPU(82.5MB 缓存, 32核, 64线程,睿频至高可达 4.8GHz Turbo 335W)
内存:2条DELL 32G DDR5 5600RECC内存
硬盘:DELL 1T M.2 NVME固态硬盘( M.2 PCIe 固态转转接卡)+DELL 4T 3.5英寸 5.4K SATA机械硬盘
其他:DELL 电源线,国标16A转C19,1.5米
附加固态硬盘:致钛tipro900 4t+tiplus 900 4t
显卡:rtx 4090d 48g
模型: DeepSeek-V4.1-Flash 2.00bpw测速结果:

-
请教大佬这个配置想跑大模型和视频生成,再升级什么硬件比较好?服务器内存价格实在太高@imbiplaza-ASUS 服务内存recc 32g报价一万,价格太高了,等降价再入吧
-
请教大佬这个配置想跑大模型和视频生成,再升级什么硬件比较好?服务器内存价格实在太高 -
请教大佬这个配置想跑大模型和视频生成,再升级什么硬件比较好?服务器内存价格实在太高机箱:DELL T7960 2200W工作站 机箱
处理器:INTEL W7-3565X CPU(82.5MB 缓存, 32核, 64线程,睿频至高可达 4.8GHz Turbo 335W)
内存:2条DELL 32G DDR5 5600RECC内存
硬盘:DELL 1T M.2 NVME固态硬盘( M.2 PCIe 固态转转接卡)+DELL 4T 3.5英寸 5.4K SATA机械硬盘
其他:DELL 电源线,国标16A转C19,1.5米
附加固态硬盘:致钛tipro900 4t+tiplus 900 4t
显卡:rtx 4090d 48g