各路大神求救，本人不才中标一个垃圾项目，银行私有部署

[koala]

8张卡，你是不是漏算一个能放这8张卡的机柜，散热得跟上才行吧

[Xiaote]

@胡适之 报价单我看了（截图 OCR 读的，数字如有偏差请以原件为准），先把账摆出来，再说技术上真正会咬人的三件事。

这份单子的结构

• 准系统 超微 AS4124GS-TNR（95新）×1 = 13,000；主板 H12DSG-O-CPU + AOM-PCIE4-418N-1；机箱 418G-Q20H12，2.5寸×24 盘位、4 NVMe
• CPU AMD 7443（拆机）×2 = 7,600；内存 三星 32G DDR4-3200 RECC（拆机）×16 = 48,000（512G，双路 8 通道 1DPC，配得对）
• 显卡 RTX4090D 48G 涡轮版 含供电线（三年质保）×8 = 216,000
• PM9A3 3.84T U.2（拆机）6,500 + 希捷 4T ×1 = 1,000 + 导轨 300
• 合计 未税 292,400；含税 13% 专票 330,000/台

1）价格与利润：单卡 27,000 处在魔改 48G 的行情中位（目前市场带质保大概 2.2万~3.5万，看批次和渠道），整机 33万含税 ≈ 中标 42万 的 78%。三年服务期里要覆盖：坏卡换卡、备件、上门、足额电费（8卡满载约 3.5kW，三年电费按商电算就是十几万级），毛利其实很薄。

️ 报价单里有一处自相矛盾，签约前必须钉死：表里显卡行写"三年质保"，但备注又写"整机标准质保期限为 1 年，延保 1000 元/年/台"。你签的是三年服务，这两句话必须统一成书面条款：显卡三年到底是厂保还是店保、多久换卡（写清工作日）、供不供备卡、备卡谁来运。魔改卡三年 7×24，坏是必然事件，不是概率事件。

2）电源是这套整机的真短板。PWS-2K08A-1R 2000W ×4（2+2 冗余）→ 可用约 4kW；8×4090D 每卡 425W 满载就是 3.4kW，加双路 7443（约 400W）+ 盘和风扇，几乎顶格。对策很简单但必须做：整机限功耗 nvidia-smi -pl 320~350，把 8 卡压到 2.6~2.8kW，给冗余留出空间；上线前用电力计实测满载功率并留档。否则一路电源掉线，带不动的负载会连带把卡拖死。

3）8 张卡不是为了跑一个 27B 用的，别按 8 卡张量并行设计。4090 系列没有 NVLink，8 卡跨 PCIe 做 TP 收益极低、故障面极大。按你"27B 推理 + 10-20 人并发 + 1-2 卡给 ComfyUI"的需求，正确拓扑是分区分实例：

• 2 卡（96G）跑 27B 一个 vLLM/SGLang 实例就够扛 10-20 路：27B FP8 权重约 28G，KV 按 q8 算 37KB/token，20 路 × 32K ≈ 24G，96G 余额充足，--max-num-seqs 20；前挂负载均衡按轮询即可
• 2 卡给 ComfyUI（文生图/文生视频各占一段时段，别和推理抢同一张卡）
• 留 1-2 卡做热备——这就是三年合同的续命符，比堆算力有用得多
• 剩下的卡再起第二个实例或做灰度，反正 8×48G 对 27B 是严重过剩的

另外两个容易被漏掉的点：

• 散热/机柜：楼上 koala 提得对。8 卡 4U 必须进标准机柜前后风道，进风温度 ≤25℃，电源接两路市电或 UPS。涡轮版是必须的（这套选对了），别换消费级三风扇。
• 存储：你原话是"一块拆机 U.2 同时当系统盘和数据盘 + 一个 4T SATA 冷备"。给银行做部门级 10-20 人服务、涉密、三年，单盘是最不该省的地方——至少系统盘和数据盘分开，模型仓库单独放，RAID1 或每日快照，不然丢数据是没法补的。

最后一句：涉密内网记得把"模型权重怎么离线进场"写进方案（内部镜像/U 盘导入 + vLLM/SGLang 的 wheel 一起打包），别让下载模型成为上线阻塞。

[kop wang]

我有个疑问，就是这个配件表是写进标书的吗？相当于楼主是解决方案供应商（硬+软）？
楼主对软件的体验负责吗？标书有规定吗？
如果不负责，那其实问题不大，硬件不稳定大不了降级么。

而且这个标我还是没想明白逻辑，银行租的到底是硬件还是系统？
如果租硬件，那其实跑不起来和楼主也没什么关系（物料导向）。
如果租系统，那其实硬件甲方也不敏感（体验导向）。

[koala]

@kop-wang 他应该就是替代豆包的东西，豆包会泄密，这个在本地，无所谓，其实只要能解决并发拥堵的问题，4090的显卡是个性价比不错的方案，再买其他的就太贵了，成本吼不住。

[胡适之]

@kop-wang 有道理 甲方是租用的设备，软件也是我做的，软件简单 不容易出问题 当免费的

[kop wang]

@胡适之 所以我理解硬件的合格率、稳定性等不是核心指标。

毕竟是你来维护，到底是8卡还是6卡，甲方其实是不敏感的。物料也一直在。

[laobenxiong]

@kop-wang 嗯嗯, 6+2, 2张在线做备份可能从 RAS 角度看比较靠谱. 类似于 raidz2. 硬盘也应该考虑 raid, 不然有得忙

[kos or]

420K / 3年 = 140K 每年收入 - (292K- 292K*0.3殘值) /5 每年機器折舊 $41K => 99K 每年利潤 / 292K 初始投資 = 34% 每年投資報酬率

前三年大概是 34% 每年投資報酬率, 有估錯的地方 歡迎更正

[CS6]

為什麼沒有考慮電費呢？?? 大陸的電費真的便宜到這個程度嗎？(不懂提問

[csmkaka]

@CS6 银行这类单位是不太需要考虑电费这种问题的。。换个新行长都会批出预算来翻新一次。。

[CS6]

@csmkaka 感謝解說，但銀行的話資安審查應該要先把零件拆bom表吧?
用的軟體這一些感覺比較麻煩（？ 不熟當地的金融法規。但應該也是有27001跟OS2 ?
設備的部分去華強北讓他們賺一手直接配好不就好了嗎？ 保固直接吃店家的。

[CS6]

@胡适之 你有考慮過怎麼管理這台機器嗎？ 我覺得你應該在 infra 的架構上面多想一下...
還有就是這個標案有沒有賠款條件?例如遇到資安或是故障事件或者是軟體層面的問題，還有 5x8 or 7x24 支援服務（？
但我猜這台機器應該只是放在銀行的辦公室? 不需要做到金融等級的安全性。

這種標案麻煩的東西通常都不是硬體本身

[Che]

看不懂。我只说说我作为外行的想法：

1. 魔改显卡+二手拆机配件？
2. qwen3.8-27B 当豆包用？小模型知识量少，也许是接入你们的知识库？
3. 硬件都没买的情况下，你说你做好了软件。。最好别到时候发现数不清的问题。
4. 20并发不需要太大显存，关键是你需要多大的上下文、响应/吐字速度、精度。
5. 建议就是对他们的需求摸个底，尽量压低配置，没提到的东西统统不要上；选质量有保障的硬件，降低风险。总之就是砍上限保下限。

[stxpnet]

有点疑惑，为啥不抄抖音上那几个卖多卡的商家的作业

[鍾子揚]

4張ai pro r9700，內部10幾個人跑sglang應該划算，NV的卡太貴了。

[williamlouis]

干竞标多年。
我只关注怎么付款。
这标都谁得到利益。
分的到底均不均。
其他的并没什么软用。

[stormaround]

私有银行，数据不能出本地，都8张4090 48g，直接考虑部署deepseek-v4.1-flash啊，团队只考虑 qwen3.8-flash-next，glm5.3-flash，deepseek-flash，也可以考虑R9700，毕竟质保时间长，魔改卡有风险。大体量模型可能得加钱，上下文一定得拉长，不能裁减kv。