RTX3080 20g,qwen3.6 27B 45-50T/S 35B多模态256K 110T/S

[jimsavage]

我的编译总是出问题。后来看了build.md，用Visual Studio 17 2022,一次编译成功，命令是cmake -B build -G "Visual Studio 17 2022" -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_SERVER=ON -DLLAMA_BUILD_ALL_EXAMPLES=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF

[vosrock]

经过一天的折腾，27B确实智能更强，在教他干活的时候明显好用，多智能体协作的时候或者并行的时候，峰值可达70TOKEN/S，我勒个去，这个速度是我万万没想到的，35B我还没测试多线程，单线程的时候任务超过10分钟后，速度也会降到60多，我怀疑是还没优化到位，不过我已经不想搞了，27B三个线程已经可以这么快，就算两个线程基本是可以到60TOKEN/S的，我还搞毛线啊，干活去

[vosrock]

40多分钟了，两个线程跑完了，剩下一个线程越跑越快你敢信

[terry]

@vosrock 关于干活的，可以写个帖子单独分享下。

[vosrock]

可惜没截图了，第一个工作就是让他读一个IC的PDF，读的过程中忽然想让他直接帮我翻译成中文，看起来舒服点，然后各种调教，缓存里找到几张过程他自己截的图


这两张就是35B做的，然后怎么教他都改不过来，后来我就换27b模型,经过几次的修改就得到这么一张优质的翻译结果，然后就让他用三个线程将整个PDF140多页全部翻译过来

[vosrock]

又让他写一个实时统计我TOKEN使用量的网页，一次成功了。

[terry]

@Tide 抄作业也要交作业，抄作业心得，

[rock shi]

@terry qwen 35b在hermes里干活不行，跟gemma差不多水平，不是出错就是逻辑循环根本没法干活。必须是27b或者DeepSeek才适配hermes

[rock shi]

@comeN 我也是双卡3080 20，这得看开了多少上下文把，还有reasoning等级。我hermes开128k，reasoning high差不多就你这个速度上下浮动

[rock shi]

而且还得看mtp有没有命中，命中了就很快能到50多，没命中最慢36

[y2k]

感谢大佬分享，等3080到货，就按你这个部署win版的模型

[vosrock]

因为显存确实很紧张，如果不是差钱，还是得用3090，就不用那么窘迫，
今天已经开始了一个客户的在线数据分析预测系统，因为要长时间跑数据训练，所以就发现了多线程会导致降速，实际上就是炸显存，所以NP就只能设置1了现在跑了一个下午了速度没降，也很稳定

这里也要设置一下，大幅度避免上下文压缩

[vosrock]

以上设置，长时间跑，就是这个速度了，总的来说，还是不建议这张卡，至少还是得3090，那是优雅得多了，多模态也可以安排上

[rock shi]

@vosrock 3080 20g*2，感觉还行吧，27b模型hermes跑了个任务52t/s，

[vosrock]

我没有两张卡，不知道两张卡会怎样，但看速度的话，似乎有很大优化空间啊

[rock shi]

@vosrock 两张3080 20g等于一张3090 24g的价格把，能顶3090的80%至少，40g大显存还能再做一些别的事，还是挺夯的

[vosrock]

以我这次的折腾，单卡跑27B MTP长期稳定极限是120K上下文，也很容易触发上下文压缩的，不知道有没有大神有解决方法，

我刚才豆包了一下，原来可以将模型权重分别载入两张卡，这样还是有意义啊，但是我主板第二PCIE是3.0的，这就很尴尬了，NVLINK能买到估计也不便宜

[applejuice]

@vosrock 3080好像没有nvlink
nvlink 现在都在1100+-

我就是为了nvlink 多付3000-4000
因为 huananzhi 单路x99 pcie3.0 距离都不适用nvlink...
有点超预算所以有点后悔

[rock shi]

@applejuice 他说的3090,3090可以nvlink，个人感觉透出产出比不高，没实践过

[vosrock]

总的来说，就是不值得折腾，收益太少，如果可以NVLINK还能搞一下，不过功耗也是很恐怖的，我的电源估计也顶不住