抡锤者

音视频生产 tokens 化后 comfyui 有没有可能可以体面的共享显存双卡 tp 来跑呀

@Xita 说:

我也是3080～看到这个好激动啊～而且我感觉我的卡跟楼主是同一家买的，长得一模一样......

应该是极极的将，他们家把 3080 刻出来了，搞得我不能靠散热器伪装成 4090 装逼

是 0.2 版本突发的死循环吗

1.44 版本的三个长链案例首 token 实测，速度还是很可观的

@杨tom 说:

楼主你好,请问在dsh上首字是三分钟吗? 有测试多并发吗?解码速度怎样?

三分钟首 token 是因为我之前的两百多分钟是用文中前期修复前 CPU 单核 20 多 token 每秒的时候跑的，填充和首 token 速度都慢了，昨天早上修复好后才正常作业

@杨tom 说:
楼主你好,请问在dsh上首字是三分钟吗? 有测试多并发吗?解码速度怎样?

你好杨 tom，我这边实测用有线 sata 固态、ddr3 内存、pcle3.0 接口，首 token 处于 70s 内，多并发受限于 strata 的架构限制，效果应该是很不好的，我晚点去测试一下

我勒个提升这么大

@linghu007 说:

我买的这个，精粤X99-TI D3 PLUS大板 4根DDR3 1600 16G 插满了（早知道买32G的了）现在只有64G内存，在犹豫要不要换128G。 四通道，最高1866MHZ。能插3个显卡 1个X16,2个X8。 但有个坑，能装ECC内存，但不支持ECC。买了才发现，难得换了。 精粤X99-TI D3 PLUS大板 支持 intel LGA2011-3针至强E5 2678V3/E5 26…

接口多，板子大小也合适，没事的时候玩玩各种外接设备好用

@XXX 说:

我有給ddr3加風扇，不加風扇感溫槍測70度（開放機箱）。

温度高直接空调 16 度二十四小时怼他

@J Z 0 说:

@ikum 我试试cpu设置，我现在16核，留了一半。 calibrate跟我说是最优值，我试试加大有没有帮助。 是pool-workers 吧

没有测试过并发，论坛和特哥视频里都有 starta 并发不行的信息，所以也就没捣鼓了

@J Z 0 说:

@ikum 我试试cpu设置，我现在16核，留了一半。 calibrate跟我说是最优值，我试试加大有没有帮助。 是pool-workers 吧

我的测试小结是如果是 10 核的 u 就开 10 线程，20 核只开 20 线程，每个核只跑一个线程不要超到 40 跑双线程不然会崩，大页也不要开，实际操作是，我双 e5 2666v3 跑 19 核十九线程留一个核跑向日葵和网页开销体感是最优的

上下文长度是 262k，放在内存

最近更新到 Strata 最新的 0.2.2 版本，简单分享一下个人实测性能、新版隐性BUG、双路平台专属避坑方案，同时求助一些小问题！

• 主板：精粤 X99-8D3 2.5G 双路DDR3
• CPU：E5 2666V3*2
• 内存：64G ecc 四通道
• 显卡：3080 20g

0.2.2 版本 qwen3.8 fn iq3xxs 性能暴涨

新版优化幅度非常夸张，推理速度直接飙升至 90+ token/s 中位，常态可长时间稳定 100+ token/s ，是目前个人实测最快的Strata版本。
吞吐和响应速度提升有 10-20%。

但是测试出了一些隐性代价，不知道有没有解决办法：
从我开始测试Strata到现在 20 来天时间，我跑的都是超长时间、超高负载、大模型常驻全内存的重度任务，从未出现过任何死循环、卡死、逻辑卡死问题。即使是 LLM 总运行 700 多分钟的长链人物也是非常稳定

但升级 0.2.2 新版本后，首次遇到推理死循环卡死的异常情况。属实恼人

想问下各位好哥哥们：
有没有人升级0.2.2后遇到死循环、推理卡死、任务挂起不结束的情况？
是否有对应的修复/规避方案？

**补充跑 strata 遇到的两个避坑点
**
专门给 双CPU、多核服务器平台 的玩家避坑，千万别踩雷！

1：双路平台严禁分开NUMA内存池（核心BUG 的源头）

Strata新版自带NUMA本地缓存池逻辑，双路X99这类双CPU机器极易触发兼容BUG：

• 默认双路会分成两个独立内存池，Strata会错乱分配专家缓存、KV内存
• 导致随机卡死、掉速、内存溢出、诡异崩溃

正确解决方案
保持BIOS NUMA开启，启动强制全局内存交错统一池
不让两个CPU内存池分开工作，统一调度，彻底规避双路专属BUG
（单路用户无此问题，仅双路多核需要注意，千万不要让数据塞入显存的时候在两块 CPU 控制的不同内存池里面来回调度，速度能跌到 20 多）

避坑点2：条件支持的话 CPU 一定要全开多核调度，严禁单核运行

Strata架构极度依赖CPU多核并行计算数据调控功能：
所有多核服务器U、双路平台，一定要放开全部核心调度权限，不要锁单核、不要限核心数！2666v3 单核算甚至能跌破十几 token 每秒

总结

1. Strata 0.2.2 速度历史性暴涨，稳定90+、常态100+
2. 极速有代价：新增未知死循环 bug，疑似牺牲逻辑稳定性换速度，不知道大家有没有碰到类似情况
3. 双路用户必改：统一NUMA内存池，不要分开，CPU 多核多线程一定要在 strata 里打开这是单核弱智性能洋垃圾跑 strata 的关键
（AI 分析 strata 可能比较吃 CPU 多核性能，说不定换成 36 核还能提升速度，但可信度我认为还是存疑的，有这方面知识的好哥哥请求分享经验）

龙虾机器人很容易被封，微信 QQ 小号+dsh 用脚本控制接收大号指令+模拟手点粘贴文字输出效果更好更安全，就是把真实账号当聊天机器人来用，说些爆的也没多大影响，就是 Linux 上麻烦些

v100 单卡性价比还是不如 3080，差不多的价格 3080 20g 可以跑 iq3xxs 256k 70～80token

这属实令人兴奋🤩

首先，问问题你应该先打出你基本的设备信息，其次，你这什么都没说明就丢一堆日志过来真的很不尊重人方便他人完全是方便自己，最起码得详细解释一下为什么会发生这种原因，最后这种问题不能问AI吗？这种软件小问题哪个智能体都能给一定解释，从日志看就是爆显存了，调配有问题，两块2080ti44g总容量是够的，但占太满了没留下足够缓冲区，自己下个dsh让AI解决就行了

@terry 说:

这特么的也不算便宜了，不过行情在这里，3080尴尬的是20G显存，这4G其实还蛮重要的，单卡跑27B，单卡minimax H3都卡24G。

确实不便宜，一个半月体验下来，27b要是164k上下文只能退而用量化的很狠的专项q4量化，智力不算高，工具调用特别的不好用，老是死循环，双卡tp以后试试可能会好些40g显存池蛮大的，就是豆包老跟我说精粤x99 8d3的双路板搞不了双卡tp只能用PP方案很难受