不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[terry]

@wei-Dai 这卡没有BF16，很多原生技术都不支持，以后新模型越来越不能玩，买个7900xtx或者3090吧。

[wei Dai]

@terry 我是DELL R730服务器，机器丢在公司，不怕声音大，我一直都是RDP连接的。所以V100 32G这张卡对我来说是性价比最高的卡。我跑27B模型，Q4-K-M+220K上下文，输出能到40T/S,我用得不错。

[tszhoill]

跑IQ3_S 的速度怎麼樣， 3090 96gb，但無論reasoning low or Medium 都是30-40t/s

[Prio]

@tszhoill 我也是3090 跑出来的数据跟你一样，不知道什么情况了

[johnnybegood]

@tszhoill 这速度肯定不对。把strata_main删掉全都重新设置来一遍。单卡3090，我coding测到过 100tok/s ，对话至少在60以上，平时80左右没问题的

[tszhoill]

@Prio 我發現問題了， 首先是我ddr4跟cpu太入門級 令速度有降低， 但你用start here bat時 加--calibrate 它就會自己幫你調參數， s跑60-80沒問題。 xxs會更快

[johnnybegood]

@tszhoill 玩着玩着就发现消费级CPU和主板根本不够用， 一定要上工作站级别的。

[张光璞]

@johnnybegood 说:

@tszhoill 玩着玩着就发现消费级CPU和主板根本不够用， 一定要上工作站级别的。

终究还是进入了军备竞赛的怪圈。

[tszhoill]

@johnnybegood 確實， 因為家裡還裡還有其他顯卡， 從這strata出來後就想弄個工作站， 但在澳洲 不知道找2手的應該看哪一種

[九门奇人]

最新版的STRATA，我的308012 G，32K上下文也能最高跑到110了 ，中位70