交作业，200t/s，洋垃圾发光发热了

[Chen Gang]

洋垃圾到手半个月调教到位，可以交作业了。
照例先说一下配置
主板：华南X99-BD3
CPU：E5-2678 v3
内存：DDR3 32G x 4
GPU：v100 16G x 2 nvlink
系统：ubuntu 22.04
引擎：ninfer
模型：qwen3.8 27b nvfp4

稳定跑200+

录了个视频演示: bilibili

[xiongjie gao]

这速度都赶上线上模型了

[Chen Gang]

@xiongjie-gao 是的，从此token自由，特地来交个作业

[xiongjie gao]

真的不能小看任何一张卡，野百合也有春天的时候

[懒人烘培]

确实不错呀，速度也非常快~

[大圣]

V100 也很厉害

[UnaRem]

好爽，最近调qfn iq3，双卡2080ti，strata和qwen image 2.1各占一张卡，生文和生图同时工作，但是prefill降到一千多。不知道27b效果如何，27b有https://github.com/weicj/vLLM-2080Ti-Definitive这个项目也能参考

[gao Gao]

nvlink要1000大洋了把

[Chen Gang]

@gao-Gao 1k买底板，2k 买 gpu，一共 3k

[tom23]

这性价比真是牛， v100 16g现在要多少钱？

[karli lee]

刚好要捡垃圾，现在可以抄作业了！

[xiongjie gao]

@chen-gang 你这个水冷方案是自己捣鼓的还是商家的方案？

[koala]

说说价格，看看只能做文字处理的话性价比如何

[Chen Gang]

@koala 丰俭由人了

[Chen Gang]

@xiongjie-gao 成品

[Kirin H.]

qwen3.8 27b的能力到底咋样，和flash next比的话

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励！

奖励凭证：热议 +3 分 · 编号 h2863-4487-1

[stxpnet]

@Kirin-H. 没有好卡，无法实测。用了strata之后就回不去了。 实际使用的时候，超过150K上下文，qwen 27b会掉速一半。 qfn3.8 最多掉到80%。 体感 上有非常大的不同。

[jerry deng]

这黑科技逆天了，Polystrata 经过优化之后, 我内存比较小，才32 GB,我用3060，12GB 。32GB, 跑polystrata 80 到100 tokens/s qwen3.6-35b-a3b-q4-poly7-vision 带图片识别, 桌面版的strata qwen 3.8 flash next Swift IQI XS 20~30 token之间吧,不知道升级到64 GB 内存 有没有很大的提升?

[applejuice]

@stxpnet 512k 跌差不多15%

Prompt	19K	43K	89K	123K	206K	307K	414K	520K
tok/s	4,912*	5,118	5,312	5,241	5,214	4,986	4,609	4,454-4,523
read time	3.9 s	8.4 s	16.7 s	23.4 s	39.6 s	61.6 s	89.9 s	115-117 s

为了保护显卡 我不敢开350w 不然在89k prefill 都6k 了

Prompt	19K	43K	89K	123K
tok/s at 350 W	5,424	6,006	6,458	6,454
read time	3.5 s	7.2 s	13.8 s	19.0 s
vs 250 W	+10 %	+17 %	+22 %	+23 %