RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S

[y2k]

感谢大佬分享，等3080到货，就按你这个部署win版的模型

[vosrock]

因为显存确实很紧张，如果不是差钱，还是得用3090，就不用那么窘迫，
今天已经开始了一个客户的在线数据分析预测系统，因为要长时间跑数据训练，所以就发现了多线程会导致降速，实际上就是炸显存，所以NP就只能设置1了现在跑了一个下午了速度没降，也很稳定

这里也要设置一下，大幅度避免上下文压缩

[vosrock]

以上设置，长时间跑，就是这个速度了，总的来说，还是不建议这张卡，至少还是得3090，那是优雅得多了，多模态也可以安排上

[rock shi]

@vosrock 3080 20g*2，感觉还行吧，27b模型hermes跑了个任务52t/s，

[vosrock]

我没有两张卡，不知道两张卡会怎样，但看速度的话，似乎有很大优化空间啊

[rock shi]

@vosrock 两张3080 20g等于一张3090 24g的价格把，能顶3090的80%至少，40g大显存还能再做一些别的事，还是挺夯的

[vosrock]

以我这次的折腾，单卡跑27B MTP长期稳定极限是120K上下文，也很容易触发上下文压缩的，不知道有没有大神有解决方法，

我刚才豆包了一下，原来可以将模型权重分别载入两张卡，这样还是有意义啊，但是我主板第二PCIE是3.0的，这就很尴尬了，NVLINK能买到估计也不便宜

[applejuice]

@vosrock 3080好像没有nvlink
nvlink 现在都在1100+-

我就是为了nvlink 多付3000-4000
因为 huananzhi 单路x99 pcie3.0 距离都不适用nvlink...
有点超预算所以有点后悔

[rock shi]

@applejuice 他说的3090,3090可以nvlink，个人感觉透出产出比不高，没实践过

[vosrock]

总的来说，就是不值得折腾，收益太少，如果可以NVLINK还能搞一下，不过功耗也是很恐怖的，我的电源估计也顶不住

[applejuice]

@rock-shi 我也只折腾过AI
如果下决定前 知道要多付出4000元 我就选r9700了

但是据ai 解答 长上下文 如果 超过24gb nvlink 也有帮助
收益太少 是真的

[rock shi]

@applejuice 也不能这么说，肯定是有舍有得。像我这两个3080，当时买的时候感觉挺落后的，实际上玩起来的时候说不定有很多其他卡不适配的应用场景，整体速度感觉也还不错。

[vosrock]

用27B跑项目的前期，工作习惯，框架大体搭好，然后用35B，开满上下文，不用MTP，速度就是这个样子，截图的这个状态实际上下文已经跑到了150K了，这只是单卡，还是不要搞双卡了，哥们

[applejuice]

@vosrock

钱已经花了 等我机器到也测一测

[rock shi]

@applejuice 双卡3090+nvlink绝对牛逼。期待一波反馈

[vosrock]

@applejuice 原来您是双3090啊，那不一样，完全是两个世界了，我估计跑COMFYuI都能有不错的体验啊，单3080其实LTX2.3也能跑一下，体验都还可以的，这张卡其实我是去年拿来跑视频的敢信

[im17me]

@applejuice 你的3090加nvlink 有效果吗？能不能说一下提升情况

[applejuice]

@im17me 还没到啊. 我国外

[ldscool]

@im17me 有nvlink 的3090那是直接起飞了，可以预期速度x1.8，显存48g爽yy了

[rock shi]

@applejuice 48g我的天，后面还可以关注DFlash，你这跑27b速度不得到80t/s