【交作业】双 7900 XTX跑Strata IQ3_S：262K实测，Prefill 5,147 tok/s 可抄作业

[懒人烘培]

@applejuice 是呀，开始我不看好strata结果出乎意料，或许R9700还要继续在优化一下呢。

[坤坤]

作业没抄成功，我是64g的内存莫不是96g的，一部分专家落固态里面了，没法

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励！

奖励凭证：热议 +3 分 · 编号 h2626-1927-1

[懒人烘培]

@坤坤 嗯嗯，内存少了些。增大到96G会更好

[kos or]

@懒人烘培 said:

和之前的也做了对比，提升效果如下，如果需要我另开一篇文章写一下

這兩組數字有點神奇, GPU溫度都一樣 , 但是Power功耗有差距,
當然也有可能這是瞬間功耗 兩組數據的功耗平均值是差不多
或許其中一組的 7900 XTX 是有降低功耗在跑 ?

[terry]

@懒人烘培 抓紧抄下这个啊：https://lcz.me/topic/2643/

[kos or]

@懒人烘培 said:

还在优化，难道是我U差一点

Strata 的CPU設置 最多好像只能使用 50%的 CPU logical cores 邏輯核心(?)

我試過一次 CPU使用70% logical cores
結果最後是 20% 的工作要排隊在50%後方跑 反而更慢
可能Strata Engine 有強制只能使用50% CPU cores

[懒人烘培]

@terry 电脑正在下载模型，还在配置中

[懒人烘培]

@kos-or 我看了显卡功率为满载，300W,可能是下图的在偷懒

[yin meng]

@懒人烘培 我就知道你肯定能搞出来，毕竟我就是在抄你之前那篇作业的时候无意中发现了这个github repo 我还是小白，后续还要继续抄你的作业呢。

[yin meng]

@kos-or 不要纠结我这张截图，因为我截图的时候GPU已经停止工作冷却下来了

[懒人烘培]

@yin-meng 都一样，互相学习嘛。

[懒人烘培]

@terry 改写代码成功，并已成功组双卡TP。目前正在测试，看效果如何，老大，文章今晚发出。

[Bunsei]

@懒人烘培 牛呀，A卡生态肉眼可见的在变好！（除了得折腾）

[Wang Wei]

我的显卡已买好，配件还在路上，坐等大佬测试结果

[坤坤]

@懒人烘培 有效果了嘛，我很期待哦

[坤坤]

@kos-or 下面这个只是模型没在推理，没干活

[懒人烘培]

@坤坤 我已经看到效果了，我需要整理一下，补测一下，今晚发文章

[懒人烘培]

@Bunsei 折腾，确实A卡在变好~强大的带宽真是牛

[懒人烘培]

@Wang-Wei 你还准备得快哈~