實測Strata改造雙卡_R9700_本地大模型架構演進與調優實錄

[鍾子揚]

@magic-K 3090 vram記憶題頻寬還是優勢很大~~而且iq2的品質我不太敢用，雖然速度很快，因為我是用100多G的Q4量化版本~Q3的我之前用大概75-80token/s不過跑長鏈任務還是會掉鍊子~常常回報那邊搞錯，這邊有狀況來回重複返工...雖然還是能完成但就是覺得不太能忍受，Bash指令全限有給它，說要刪某的檔案，因為agent指令下錯(太長、截斷、重新跑)變成刪掉整個資料夾就很OOXX。

[懒人烘培]

看到大家都在说9700限制功率250W，是不是7900XTX也可以限制功率到250W，性能没有损失？

[magic K]

@鍾子揚 刚开始跑，测试了长任务，好像确实有些问题。还要在跑些任务看看效果，单纯的跑分其实意义不大，目前给agent权限都是紧盯着之前就因为权限开的大导致全盘文件丢失的问题。

[Thanaots]

@鍾子揚 说:

目前分配還行~有點極限QQ~~

所以又買了1600W等新4T ssd到一起換上去~主盤1TB半年健康度剩下90%~

我有一个一模一样的电源

[张光璞]

这个速度感觉不太够看呢

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2205-67-1（系统自动发放，显示稍有延迟）

[jatwu]

内存大，可玩性强

[fcme]

https://github.com/Eliovp-BV/paiton-vllm-plugin/tree/main/models/Qwen3.8-Flash-Next
感觉浪费你的配置呢，看看这个吧，昨天刚更新的，你的设备可以起飞了！

[iamvirus]

目前双卡R9700 pcie4.0x16 QFN 8并发 550token/s 128k prefill 7500token/s 速度确实比27B快一些了，但是我本地代码还是习惯了27B。

目前又入了9070XT 跑jev
embedding pdf转换markdown 等小模型作为基础设施

还是期望qwen4 27b智能再上一个台阶

[iamvirus]

此主題已被删除！