抡锤者

laobenxiong

不过长上下文实测有 loop:

laobenxiong

最近也折腾了一下 Strata. 报告一下配置情况:

主机: 铭凡 um880pro;
内存: 96G DDR5
显卡: 7900xtx, oculink, gen4x4

配置:

 $ cat strata-swift-iq3_xxs.json
{
  "exe": "/tank/github/Strata/engine/strata",
  "args": [
    "--pack",
    "/tank/models/Strata-data/packs/swift-iq3_xxs",
    "--native",
    "/tank/models/Strata-data/models/swift-IQ3_XXS/Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf",
    "--ple-gguf",
    "/tank/models/Strata-data/models/swift-IQ3_XXS/Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf",
    "--expert-profile",
    "/tank/github/Strata/data/expert-profile.bin",
    "--expert-cache",
    "auto",
    "--prefill",
    "32768",
    "--spec",
    "4",
    "--spec-min-p",
    "0.5",
    "--mtp",
    "/tank/models/Strata-data/mtp/rt",
    "--max-context",
    "262144",
    "--kv",
    "int8",
    "--kv-resident",
    "32768"
  ],
  "cwd": "/tank/github/Strata",
  "tokenizer": "/tank/models/Strata-data/packs/swift-iq3_xxs/tokenizer",
  "model_name": "swift-1.5-iq3_xxs",
  "log": "/tank/github/Strata/strata-swift-iq3_xxs.log",
  "lib_dirs": [
    "/tank/github/Strata/.venv/lib/python3.13/site-packages/_rocm_sdk_devel/lib",
    "/tank/github/Strata/.venv/lib/python3.13/site-packages/_rocm_sdk_libraries_gfx110X_dgpu/lib"
  ],
  "port": 8080,
  "backend": "hip",
  "env": {
    "STRATA_HIPBLASLT_TUNING": "/home/bruin/strata-setup/100401-retuned.txt",
    "STRATA_HIPBLASLT_VERBOSE": "1"
  },
  "gpu": 0,
  "gpus_asked": true,
  "host": "0.0.0.0",
  "api_key": "strata",
  "open_browser": false

btw, 双卡的情况下 (peer-device), 速度下降, 应该是我的pcie带宽不够 ,一个gen4x4, 一个gen3x4(雷电3).

laobenxiong

@johnnybegood 说:

之前两块3090 ，一块不啸叫，后买的一块啸叫，还很明显，最难受的是，200多瓦的时候断断续续叫， 300瓦以上的时候一直叫，滋滋滋，听着心烦，据说是电感电容震荡的声音？是说明元器件不是原厂的，被换了么？还有说法是有些人的耳朵就能听见，有些人就听不见。

各位论坛的兄弟姐妹有碰到的么？怎么解决的？我找了商家几次，终于答应给换一块，但是发现现在这批3090很多都叫，要找不叫的还得多花花时间，怎么办呢，你们的 7900XTX， R9700， 4090 等等，叫不叫呢？什么渠道买的？如果是用涡轮卡的xd，就不用去听了，你的风扇声音比啸叫声音还大根本听不到的。

我咸鱼买的 7900xtx 有一点滋滋声，全速跑的时候有，怠速时没有。jd买的那块卡目前还没有。

laobenxiong

@张光璞说:

cache-type-k f16 --cache-type-v f16 \

kv dtype 到底是 f16 还是 bf16? 我觉得这两个差别不小。
llama.cpp 上如何验证这个 activation 是：q4/q6/q8 （weight） * f16 （scale） -> f32 -> 参与 gemm 运算 -> 转 bf16 送到下一层？这个应该是 jwc 大神那个 sglang fork 的 gfx1100-support branch 的情况。

laobenxiong

试了一下，中文，没问题呀

我把这个帖子的链接给我部署的 qwen3.8 27b 看了以后，它也感到有点意思，于是它自己设计了一个测试，结果如下：

探测完成,在运行中的设备上实测(分支 7900xtx-qwen38-27b-tp2pp1 @ 003f7edd68,TP=2 + DFlash2,窗口 512)。8 个变体各跑 2 次,两次结果完全一致。结果已存到 ~/sglang-setup/carwash-probe-tp2-dflash.json,脚本是 probe_carwash.py,已登记进 README.json。

结果:

- 中文 + 推理关 — 失败。推荐"走着去",还明确否定"开车去",理由是 50 米开车启停太麻烦。这正是帖子里那个现象,在我们的 W4A16 设备上复现了。
- 中文 + 推理开 — 通过。"应该开车去,洗的是车,所以必须把车开到店里。"推理轨迹里写的正是帖子里那个模型丢掉的东西:"洗车需要把车带去修车店,所以必须开车去"。
- 英文 + 推理关 — 通过。"The best option is to drive... a car wash requires the vehicle to be present."
- 英文 + 推理开 — 通过。
- 中文 + 钉死前提(提示词里写明"车必须开到店门口")— 通过,约束逻辑推得完全正确,落到"开车去"(输出被我设的 300 token 上限截断,结论方向清楚)。
- 中文多轮追问 — 失败,而且最说明问题:当你追问"我不开车,车怎么自己走到店里"时,它承认"车不会自己走路",也承认自己前面的回答存在"根本性的矛盾",——但最后仍然给出"走着去"。约束断了之后它自我修复 不了,和帖子里的行为一模一样。
- 英文多轮追问 — 通过。"我不开车"这个追问下它优雅降级(建议上门洗车、或请别人开过去),但"车必须在场"这个约束始终没丢。

所以比帖子更精确的结论是:这不是真正的中英文能力差距。同一句中文,推理开着就答对,关着就错。"车"字的多义性(汽车/自行车)是触发器,但真正崩掉的是多步推理里保持约束的能力——也就是推理预算,不是语言本身。帖子那位作者的 llama.cpp 配置里带着 --reasoning off,所以他看到的是纯粹的语言差异。

对你这台设备的实际启示:面向用户的使用模式应该保持推理开启,否则中文里这类语义陷阱题就会稳定复现"傻帽"体验。

已记录的限制:单会话采样(贪心解码跨重启不逐位可复现,这是同一会话内的快照);推理关和钉前提这两组输出撞到 300 token 上限,评级是基于可见的"推荐/不推荐"标记做的,不是完整结论句。

我对它的解释进行了两点驳斥：

中文里面"骑车"和"开车"完全没有歧义，这里不存在同一个"车"字的混淆问题；
"洗车“也没有歧义，只能是洗汽车，没人会理解成洗自行车。

它表示接受驳斥。并重新设计了实验。它更新的结果如下：

这是一个很有意思问题，感觉和LLM的可解释性有点关系。

laobenxiong

@suboyang 说:

@laobenxiong 说:

zcode偷代码

你是不是以为 zcode偷代码是他们第一次干？还是认为是最后一次？

zcode偷代码已经把它钉在了耻辱柱上了。我谈的是 glm5.3的能力，不要带太多感情哈。。。

laobenxiong

@张光璞如果只能协商到gen2x16, 可以联系一下厂家，看看能不能调整一下 switch 的 firmware...我觉得这个明显是不科学的。喊他们搞一张 7900xtx 自己复现一下，修一下 firmware...

laobenxiong

@suboyang 说:

智普的东西还敢用？哈哈哈

GLM5.3还行吧？zcode偷代码是另一码事。

laobenxiong

@suboyang 说:

@laobenxiong

对，本地模型要能普及，先不提智商程度，必须是真的可以让本地模型的使用者，有一个较为流畅的体验，如果只是跑起来，意义不大。

不过用R9700做做图还行，但是如果这样的话，还不如直接买7900xtx.

现在出行很方便, 共享单车,公交,出租,高铁,飞机...都可以选择. 这也不妨碍自己买小车/电驴/自行车...个人折腾个本地小模型, 就算给自己捣鼓一辆单车玩玩吧.

laobenxiong

@suboyang 说:

@张光璞

双卡性能最大的问题就在这。我是用本地模型写过代码，58t/s 这个速度我最后是放弃了。这个时间根本等不起，一个脚本的输出，很多需要1小时以上。换成deepseek大模型10分钟搞定。

如果在长上下文，双卡单流58t/s，那折腾双卡TP意义就不大。这也是我一直不敢搞的原因，双卡TP必须有绝对性能优势单流 150t/s 以上，做这个方案才可以真的干活。

Deepseek 是250t/s, 本地模型速度虽然不能完全去比，但是至少得有50%的效率，才有折腾的意义。做项目，本地模型双卡TP如果需要5倍以上的时间，那意义不大。

确实. 只能把一些优先级比较低的任务, 而且边界/需求描述的比较明确的任务, 在睡觉前交给它, 第二天起床再看看结果. 不过现在线上模型价格好像也没那么贵, 所以就有点尴尬了.

对不能上外网的场景, 一般都是正式的工作内容, 还是有那么一点点意义; 不过既然是正式的工作内容, 太慢了对老板来讲也是不划算的;

对于爱折腾的人来讲, 就是一个不断学习的过程...能达到这一个目标就很好了. 呵呵

laobenxiong

@张光璞说:

T7910 PCIE SWITCH 双卡推理续篇：自编 ReBAR 内核吃下 32G 大 BAR、7900XTX 解锁 2000MHz，附一整天的实测数据

期待对 switch 的继续测试. 我感觉 "内部 gen2" 很可疑啊... lspci -tv 看看 topology 到底长什么样? 链路的 bottlenect 在哪里?

laobenxiong

@张光璞说:

@applejuice 说:

电源问题换个电源还是最简单最保险

我买了台达1500 ，但线不够。

今天顺丰送到，到了我再试试。

我这里蓝宝石的1200W带两张7900xtx目前没碰到问题: 一张卡用 12VHPWR转3个8pin(外加MB 24pin给槽供电), 另一张卡用3xpcie 8pin (外加 cpu转pcie给槽供电).

laobenxiong

@张光璞说:

@laobenxiong 说:

我现在把系统回归到在单机了，等有空了再测试单张卡的效果。

对了, 你那个"交换机下游 4 跳只跑 Gen2（5 GT/s）"是怎么回事? gen4的交换机, gen4的卡(7900xtx), 走线都在PCB上, 为啥只能到 gen2?

laobenxiong

@kos-or 说:

這樣一張PCIe外接版 2380元也蠻省的不用再額外購買一台電腦就能一個PCIe x 16槽外接放上四張顯示卡 (x4/x4/x4/x4)
而且空間夠大不用擔心顯卡放不下 , 散熱也更好

pex 88096 应该可以支持到四个下游槽都是 gen4x16, 不知道问什么你说x4x4x4x4: "外接放上四張顯示卡 (x4/x4/x4/x4)".

laobenxiong

@jenaflex 说:

我有DELL T7920 （一代、二代Xeon Scalable），它理论上是支持Rebar的，（因为7920 Rack的BIOS里有rebar size选项），但工作站T7920的最新BIOS仍然只有Above4G Decoding，没有Rebar size设置。

我和你一样，用Linux 命令行看到的bar size是256M

网上有破解办法：
https://github.com/xCuri0/ReBarUEFI/discussions/331
我还没来得及试。

如果有 above 4g, 只是 rebar 不成功, 风险较高的做法是魔改 bios, 风险低(其实就是无风险)的做法是给 kernel 打 patch (把问题描述给 AI, 它帮你搞定). 这里我假定 above 4g以后, /proc/iomem 上看给 prefetchable space留的空间是足够大的 (这个假定在工作站主板上基本是成立的, 至少256G起吧).

laobenxiong

@张光璞说:
一句话总结

这套机器上，两张卡能不能稳跑 TP，不取决于你多会调参，取决于卡 VBIOS 愿不愿意问 BIOS 要那 32 GB；而它稳不稳，往往取决于你有没有在编译期断过电、以及你有没有在数据说「不是热、不是电」的时候，肯换掉自己那个想当然的假设。

这个帖子关于 rebar 的分析是值得推敲的. kernel rescan 的逻辑相当复杂, 主要是历史原因造成的. 简单说 7900xtx 不能自动 rebar 到 24G(32G) bar 空间好像是有疑问的. 根据我的测试经验, 如果在交换机下游只插一张卡, 24G bar 没有问题. 如果同时插两张卡, 就都退回到 256M. 问题出在 kernel rescan 的逻辑上, 需要 patch内核, 最终是可以做到两张卡都有24G bar size.

总之, 这个帖子给了一组测试的实际表现, 是值得借鉴的. 但如果要把这些结果直接外推到其它场景, 就需要一定的判断力了.

laobenxiong

@suboyang 说:

@laobenxiong
不支持resize BAR

bios 不支持 rebar 并不是死刑判决; 如果 iomem 留下的 prefetchable 空间足够大, 改 kernel 还可以试一试.

laobenxiong

@张光璞说:

交换机方案在DELL T7910 这种bios 限制非常多的主机上，已经判“死缓”

啊, 这不科学啊. 具体问题出在哪里?

laobenxiong

fp4的实际意义, 我是有点疑问的. 速度上应该是比7900的bf16快, 但是精度上的损失是否值得? 这两天用了下7900xtx/sglang/w4a16(activation 是bf16), 感觉智商相当在线...和以前 llama.cpp下跑的时候context一长就变傻不一样了...

laobenxiong

@张光璞说:

@laobenxiong 说:

今天还发现那张闲鱼卡, 当功耗超过300w时有一点高频噪音, 不知道什么原理.

pcie 交换机发热巨大，你这样倒扣能行？？

嗯, switch 发热量大, 所以把它移到机架上了. 小主机里面的是换了一张单独的转接卡.