【双 R9700 折腾记】从 Strata 到 Radiance

[张光璞]

R9700 还是强， 感觉双9700 有点少了。现在Strata 已经有4卡9700 跑deepseek 方案

[fcme]

我今天也试了一下rediance，单卡。开始好拉胯，PP1000左右，TG才35左右，说是因为我的服务器PCIe只有3.0x16,而楼主的有PCIe5.0x8相(当于4.0x16)，让我升级PCIe。，有钱我早就升级了
后来让deepseek flash给自动调优速度和缓存最后才稳定到1900/110左右，再配合缓存（rediance的缓存机制比较拉）的话体验应该会不错的，速度还是和R9700用paiton跑27B没法比，但是为了质量也忍了。

[alan.lgv60]

@fcme 昨天也试了一下，TG只有30左右, 要怎样调优？

[fcme]

@alan.lgv60
最关键的就这个
--adapt-every 1
开不开那个解码差很多的，当然仅限于我自己的机器，你可以试一下，整体上来讲还是直接找AI给你调优就好。

[alan.lgv60]

@fcme 说:

--adapt-every 1
这是甚么？

[懒人烘培]

看来7900XTX双卡还要继续优化才行，我才调试好双7900XTX， prefill为5000的样子，90t/s，如果能Radiance 使用 TP2 张量并行，那不是要起飞了

[terry]

@懒人烘培 弄好了发个高质量作业。

[懒人烘培]

@terry 好的，到时候我在另外写一篇

[kos or]

@懒人烘培 said:

prefill为5000的样子，90t/s

雙 7900 XTX Prefill 也這麼強 美滋滋

[懒人烘培]

@kos-or 嗯嗯，现在用双卡分层技术，在配合strata效果不错