【双 R9700 折腾记】从 Strata 到 Radiance
-
暂时看到radiance 最大的缺点就是上下文只能200k
不能像strata 可以用load 在内存 -
@applejuice
不大量搞代码的话，200K绰绰有余了。我现在虽然是可以开256，但是为了方便各个模型都统一成200k了。
你可以让AI给你看一下你过往的聊天记录，看看超过某个阈值的到底有多少，这个情况频繁不频繁，如果不频繁的话，其实对于本地模型来讲设的低一点响应速度会更快一些。 -
@fcme 我的真过200k 而且很常都过
-
@alan.lgv60
如果只是跑27b的话，单卡已经很顶了，能到3500的预处理，输出的话能有个100以上，就已经很丝滑了。
如果呢要想达到类似27b的速度，那就只有上双卡tp了。就看你自己的需求了，flash next呢确实好一些，但是又没好那么多。 -
@applejuice
哦，那你就往上顶吧。我用本地模型的话，感觉有时候上下文太长了，有时候等待时间太长就很烦。用deepseek flash这种在线的很快的模型就无所谓了。 -
@fcme 因为strata 所以没什么关系 因为即使200k prefill 速度也有3000
除非cache 被洗掉
对话再prefill 一次比较久 -
@applejuice
5090么，pp这么快？我的5070ti只有2000左右，感觉没有命中的时候还是慢 -
@fcme 3090x2 strata 啊 250w 功率限制 prefill都有3700
-
@applejuice
哦，牛逼，牛逼，那也是双卡高带宽并行啊！比不了
-
-
请问佬，我也有想配置双R9700的想法，但是对于硬件尤其是主板和电源不是很了解，内存我这倒是有DDR4 64G，然后cpu是5950X，现在是一张B550M重炮手的主板+7900XTX的显卡。不知道目前我的设备有多少可以继承过来
-
@HHFu517
你可以把你的配置然后给AI看一下，但是B550肯定是不支持pcie通道拆分的。所以你双卡的话应该是没法用这个主板，你需要换一个更高级的主板。具体很烦，你还是找AI问一下 -
-
，
B Bunsei 引用了 此主题
-
