strata generate: expert arena: large pages are resident without a lock; cudaHostRegister of the whole arena FAILED (out of memory); 31 slices pinned (29 GiB); large pages (2097152 B) 为什么我显示只有29G，这样就成功了吗？

@vosrock 请问大佬你的显卡是V100吗

非常不错，多了个人验证DDR3性能，可以终结内存焦虑，DDR3的价格还是能负担得起的。

@applejuice 32G以上显卡跑VLLM和SGLang 上27B很成熟的生态。Strata生态目前还是有一些BUG，比如卡工具调用，死循环，和用的权重文件，参数等都有关系。这应该是模型自身残疾，还需要进一步优化。27B刚出来也很多BUG，后来都修好了。

的确最快能到100t/s，但是慢慢会衰减到35左右，然后基本就这速度了。就是缓慢降速问题，一直没能解决

@perter --pool-workers 15→11，解码提升 6~24% 这个值得尝试下 找到甜点位置 我的设备11 是最佳

@hyaska 说: 大哥的配置与我的也相近，就是我只有32G内存，愁啊，到底里去搞2根凑个64G，太贵了 咬咬牙狠狠心，不然以后会更贵

现在Strata更新支持了越来越多的老显卡，然后双卡也快很多，快更新试试

我买的是2666 的超频 3200 使用,

@stxpnet 厉害了， 我再看看。这可是 glm5.3 啊！

@terry 这个就是上次说有黑罩子的那个。这个是外面： [image: image.jpeg] [image: image.jpeg] 这个是里面： diding顶上和侧边加了几个风扇，温度最高是80，以前跑llama.cpp 负载高的时候会跑到80 ， 现在换 vllm ，或是strata ，都是70左右： [image: image.jpeg]