抡锤者

@stxpnet said: 我让GLM 5.2给我写了个风扇控制程序，后面再跑，感觉就顺多了 這真不錯 ; 我還沒想過 雙卡溫度的差異和TP的關係

- 完 -

剛好也在等 想把 MTP 改 DFlash2 試試看 期待

A40 我了解，说几个关键点帮你判断豆包这个方案靠不靠谱： 卡本身 A40 = Ampere GA102，和 RTX 3090 同一个核心（10752 CUDA），48GB GDDR6 ECC，300W，PCIe 4.0 x16 两个容易忽略的坑：① 被动散热，无风扇，必须靠服务器式机箱风道（暴力扇直吹），普通塔式机箱里会热爆；② 无 NVLink，双卡不能显存互访，只能各干各的 无显示输出，纯计算卡，日常亮机得靠核显或另一张卡 速度 vs 容量 它带宽只有 696GB/s，比 3090（936GB/s）还低一截 → 纯跑 27B Q4 这种 18GB 的模型，decode 速度反而不如单张 3090 A40 的价值全在 48GB 容量：70B Q4（约 40GB）能塞，或者 27B 开超长上下文/高 KV 缓存 你的场景是 26B Q4：18GB 权重，单张 3090 都够跑，A40 属于杀鸡用牛刀——除非你打算上 70B 或 128K+ 长上下文 价格（我查的当前行情） 全新行货：京东/ZOL 约 ¥3.2~3.4万 二手：海外市场约 $1500（≈¥1.1万）是真实行情，你说 1.1万 不是幻觉；说"二手 5万多"的应该是把 A100 80G 或全新含税行货价记混了 2026 内存涨价后显卡行情波动大，闲鱼实时价为准，下单前确认散热改造方案 + 到手烤机三连（显存测试/长时推理/出图） 方案层面 A40 跑 dsh/26B + 2x3090 跑 ComfyUI/H3 视频，分工逻辑没问题，但先确认机箱能不能给 A40 供上风道 如果只是 26B + 视频，其实 2x3090 自己就能干：一张跑 LLM（24G 够 18G 权重 + KV），另一张跑 H3 视频（FP8 约 20G），还能省下 A40 这笔钱

@CHIA-AN-YANG 过谦了，我们也都是菜鸡互啄

看来unsloth的模型及其优化在固件bug不能解决的情况下，还是尽可能把参数调优到各种机器都能顺利运行了： 测试完成，六级全部通过，零崩溃。结果在 /tmp/ctx-stress-27b-20260822-010212.md。 关键数据（实际 prompt_tokens 比名义目标更深，因中文填充每行 token 数高于预估）： 档位 实际深度 耗时 prefill /health 4K 5.5K 8.5s 652 t/s ok 8K 11K 9.3s 1206 t/s ok 16K 22K 16s 1411 t/s ok 32K 47K 34s 1372 t/s ok 64K 96K 81s 1192 t/s ok 128K 194K 224s 870 t/s ok 结论： 最深处实际打到 194K context，超过之前 128K 崩溃边界，全程无 Xid、无 500、/health 每级存活 prefill 随深度缓降（1411→870 t/s），194K 下 224s 完成一轮，可用 8K/16K/64K 三档回答为空属预期：temp=0 下思考 token 吃满 max_tokens=64，content 为空，非故障（4K/32K/128K 正常出数可证响应链完整）

@Quanta-Magic 確定可以啊,你讓agent幫你佈署就好啦,128k+視覺 穩定跑 不會oom,作業複製貼上一定成功,但沒保證每一個任務都70幾 t/s 我只能說他大部分都能完成任務,讓codex or claude or ds4 flash先幫hermes把skill工作流 寫好,之後讓本地qen3.8 27b跑,一個字 穩! 不要錢的 速度慢一點 就接受了

我有点疑惑，7900xtx 总共才24g ，到底是怎么可以开到264k上下文的？ 128k都不够吧？ 大佬们可以解释一下吗？

@王池川 说: RTX 5070 Ti 16G ¥5,299 16 GB (IQ4_XS) 38 t/s ¥358 王者 4070 Ti Super 16G ¥5,999 16 GB 32 t/s ¥380 为什么5070 Ti 16G会比4070 Ti Super 16G便宜呢？

的确，我用3.8 q6, 和 3.6 q6 来对比，3.8 多了不少细节。。。 Q6_K_P 接近25gb

坐等 rtx Spark...

我们马来西亚都没这个问题，虽然天天是夏天，但是住landed, 有独立的电脑房间，太阳能，24小时开冷气，看到这个隔音棉可能会改装一下墙壁希望可以吸收一下杂音

你的经验我也有过，rdna只能用W4A16量化的模型，其他模型均无pre compiled kernel 奇慢无比。你可以和试试我这个量化模型

@stxpnet 40-60tok/s

撑不住市值的话，不知道会不会像宇树一样陨落。