整套洋垃圾Strata機到貨

[gao Gao]

@dardeaw-feng 双卡V100 我看和 3090 24G 已经差不多了,确实有性价比

[Tzung-Ru Tsai]

V100雙卡還有一種是外接顯卡塢的，噪音應該比渦輪扇低，但是價格普遍接近四千大關，成本面就遠不如渦輪雙卡香了

[dardeaw feng]

@Tzung-Ru-Tsai 说:

V100雙卡還有一種是外接顯卡塢的，噪音應該比渦輪扇低，但是價格普遍接近四千大關，成本面就遠不如渦輪雙卡香了

我都用礦電了 我沒在怕吵的 單純是買個玩具

[terry]

@dardeaw-feng 就这几百块的主板我还要等未来？？？？

[dardeaw feng]

剛剛動手優化了 強了一大截 垃圾變身黃金

1. 調優方法

變更	原值	新值	貢獻（50k prefill 實測）
--prefill	auto（=8192 chunk）	auto:16384	+25%（最大功臣）
--trim-stage-weights + 手動 --layer-split 24	auto（K=23，兩卡載全部 dense weights）	每卡只載自己 24 層的 dense weights，VRAM 讓給 expert cache（4807→5614 slots）	+12%
--pipeline-windows 2	關（CUDA 預設關）	開（stage0 讀下一 window 時 stage1 在 verify）	prefill ~0%，主要幫 decode 重疊

出處：#3703（手動 split + trim 贏 auto）、#3648/#3724（16384 chunk、pipeline-windows 的雙卡實測配置）。已寫進 /home/itadmin/strata/strata-iq3_s.json 並重啟生效。

2. Decode 速度（thinking off，512 max，median）

prompt	調優前	調優後	Δ
essay	66.6	73.5	+10%
code	57.3	77.9	+36%
translate	65.9	79.6	+21%
explain	67.2	78.1	+16%

（decode 的增益來自 trim 釋放的 expert slots 提高 hit rate + pipeline 重疊）

3. Prefill 階梯到 200k（冷預填，TTFT 測法）

階段	調優前	調優後	Δ
10k	850	1181	+39%
20k	1181	1251	+6%
50k	1421	1876	+32%
100k	1444	1884	+30%
150k	1416	1792	+26%
200k	1363	1666	+22%

200k 預填從 147s 縮到 120s。200k 端增幅較小是 int8 KV 超過 kv-resident 32768 後走 RAM/PCIe 的瓶頸，與調優無關。

[gao Gao]

@dardeaw-feng 请教下 長城礦龍 1250W 2根电源线带2个V100是不是有问题, 我看豆包说单线只能最大150W.是不是要另外再配个电源

[dardeaw feng]

@gao-Gao 6+2PIN 建議你回去再問豆包問清楚，單個接口的供電上限150W是工業標準，他一組線供兩個6+2PIN，所以我總共是兩組線四個6+2PIN，總之這種電源早期為了礦場而量產的反而不用擔心，要注意千萬別用分接線以免危險

[dardeaw feng]

@johnnybegood 跟賣X99主板的賣家問 他們都有整套方案，寄來時整機就是組好的
顯卡就要找專改V100的賣家另外買
我是因為要插雙卡所以電源又去找礦老闆買

[Tzung-Ru Tsai]

要衝prefill的話，因為系統會暫時拿VRAM作快取，只要VRAM允許的情況下chunk size/prefill之類的buffer參數有多大調多大，在長上下文能跑滿的條件下幾乎是呈線性增長。

[dardeaw feng]

@Tzung-Ru-Tsai 你這觀念是對的 差別在高併發tick tock排程中 會讓下一輪對話等久一點