抡锤者

Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.

Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).

J Z 0

@J Z 0

体面乡绅硕果累累

关注

主题

J

7900 XTX + 128GB：Strata RDNA3 三档模型精度测试
关注中忽略中已定时已固定已锁定已移动优秀 LLM讨论区 7900xtx strata amd
5

1 赞同

5 帖子

324 浏览

T

@J-Z-0 改好了。
J

水一贴Strata RDNA3
关注中忽略中已定时已固定已锁定已移动 LLM讨论区 7900xtx amd strata
1

0 赞同

1 帖子

305 浏览

尚无回复
J

作业： 7900 XTX 128g DDR4 跑 Q4_K_XL：Strata RDNA3 调优记录
关注中忽略中已定时已固定已锁定已移动优秀 LLM讨论区 7900xtx amd strata
13

3 赞同

13 帖子

527 浏览

T

@J-Z-0 你们都在本地跑这种任务了，我本地都是一些小人任务，看来模型能干活了。我也找时间测试下。
J

感觉是strata 0.1.44.1的bug （已更新，可能是特性不是bug）
关注中忽略中已定时已固定已锁定已移动 LLM讨论区 7900xtx strata qwen-flash
3

0 赞同

3 帖子

535 浏览

F

@J-Z-0 说: --ple-io ram --ple-io ram 这个改成 mmap ，你这个是把ngram 全部用内存加载了， QFN 的ngram 的原始权重有51G ，如果是IQ3 的话也有 20多G ，这是写冷专家，用的比较少，官方的建议是放ssd ， --ple-io mmap ，这个是按需调用，依然是ssd ， --ple-io ram ，这个是直接放ram ，所以你的内存上升的比较快， --ple-io ram 如果内存充裕可以放，可以减少 token 输出的抖动。
J

水一贴： Strata v0.1.43 又又又提速了
关注中忽略中已定时已固定已锁定已移动热议随便聊聊 strata rtx5070 7900xtx
29

1 赞同

29 帖子

1k 浏览

W

@rock-shi 27B的模型有其独到的地方，它不外扩，还比较老实。有些行业还是喜欢用的，比如我做工业控制的，就一直用27B
J

7900 XTX + 128g 内存单卡跑 Strata + Qwen3.8 Flash-Next，踩坑经验分享
关注中忽略中已定时已固定已锁定已移动 LLM讨论区 7900xtx strata qwen-flash
5

1 赞同

5 帖子

1k 浏览

T

其实当下还是DDR3/4加大内存跑Strata性价比比较高，很多帖子都实测了，SSD缓存还是想多了，IO压力很大。
J

RTX 5070 12G （48G 内存）单卡跑 Strata + Qwen3.8 Flash-Next
关注中忽略中已定时已固定已锁定已移动 LLM讨论区 rtx5070 strata qwen-flash
1

1 赞同

1 帖子

403 浏览

尚无回复
J

垃圾佬的快乐！
关注中忽略中已定时已固定已锁定已移动装备秀 7900xtx amd 服务器
11

2 赞同

11 帖子

515 浏览

F

@J-Z-0 那就没区别了，瓶颈在SATA 的6G