抡锤者

@Name-Error 那刚好了可以打消念头

@kos-or 我用vllm 是因为 单张r9700 在vllm 支持比较好 prefill decode 都不错

如果是3090 两张我都用sglang strata

@kos-or 价钱太贵了 我不买了
自己买到一张r9700 也已经是涨价30-40% 过后的价钱了

现在两张3090 跑strata
一张r9700 跑vllm
够用了
只需要压着自己购买欲望就可以了

我买了2 张3090 1张r9700
突然间 发现倒不如一开始买48gb 4090

不换 4 张5060 ti 不是更好吗

@Name-Error 你人还在泰国吗？ 私信微信来联络看看

@fcme 现在9700 才是王道

泰国的价钱也被你们炒高了

@fcme 3090x2 strata 啊 250w 功率限制 prefill都有3700

@fcme 因为strata 所以没什么关系 因为即使200k prefill 速度也有3000
除非cache 被洗掉
对话再prefill 一次比较久

@fcme 我的真过200k 而且很常都过

@imbiplaza-ASUS 大哥有实力

@fan-jun 恭喜有新卡玩

@imbiplaza-ASUS 这些显卡以前的价钱对现在的我还是有点大财所用

即使是现在拥有的用满起来都有难度

@perter 跑不动啊

这个太深奥我插不上嘴

@Name-Error 你有朋友收马币吗 我心痒痒 给我考虑考虑下

暂时看到radiance 最大的缺点就是上下文只能200k
不能像strata 可以用load 在内存

是论坛大佬推荐的
这样的成绩可以用起来了

@XXX 试试radiance 呗
如果这样的速度就不值得我入手第2张了

strata 两张卡不一定会同时用完
tp 会现在一张卡跑完再丢给另一张卡 但是strata 是不是这样我就不清楚了 没仔细看过