听听大家的建议，还有什么装备可以升级的

[XIUNAN ZHI]

PC1：
本地部署LLM，目前主力模型是27B FP8。
配置：5060ti*4 + trx40 + 3970x线程撕裂者 + DDR4 UDIMM 128g 3200 ，windows + ubuntu ，家属用windows办公，我用window打游戏。
还有128G DDR5 UDIMM 5600，闲置。
装备图，走线稍微乱了点......

运行27B 推理，测速 和 nvtop

PC2：
AMD H370 迷你主机，32G DDR5 放在另一个房间，低功耗跑agent，ubuntu

PC3：
MBA M3 24g ，写代码用，SSH PC1 or PC2

我的分析：
nvtop看出，GPU和MEM 长期99%。
5060ti tp4 ，cuda核心 = 4500 * 4 = 18000 , prefill阶段，all prompt 可以并行计算QKV，现在2300 tps的prefill基本极限了？除非升级显卡算力？
decode阶段，看内存带宽。tp4总带宽 = 450G4 =1800G, 模型总权重 27B FP8 = 30G ，decode = 1800/30 =60 tps，扣除tp通信损耗0.7 = 40tps，打开MTP or Dflash2，可以提升到50-80 tps，也达到极限了？

虚心请教大佬意见，如果提高LLM性能，还可以升级什么？升级下显卡？主板？CPU？现在这些都很贵了，有没有性价比方案？还是再组个windows办公算了？

装机佬，一天不拧螺丝心里不过瘾，跟以前钓鱼一样的。

[imbiplaza ASUS]

我觉得至少要一块24g nvidia显卡

[Nero丶畅畅]

建议弄个开放式机架，不要这样堆叠显卡，我兄弟的显卡也是这样堆叠，烧了两个卡的供电。。。

[applejuice]

@Nero丶畅畅 草 会烧吗？ 我也是这样叠
那就头痛了 不喜欢开放式机箱

[terry]

@Nero丶畅畅 是的，最好弄开放式机架。

[terry]

@imbiplaza-ASUS 对的，另一个128G的，可以尝试3090，RTX Pro 4000， 4500

[Nero丶畅畅]

@applejuice 是的，很大概率烧，但是好消息是换供电费用不高，坏消息有几率炸核心。。。

[terry]

多拍点真机，这里主要是展示，装逼用的。

[XIUNAN ZHI]

@Nero丶畅畅 有道理，推理30分钟，最上面那张显卡，温度不低于70度，需要开空调，打开机箱侧板，用风扇对着吹。

[XIUNAN ZHI]

@imbiplaza-ASUS 谢谢回复，这个建议比较务实，16g oom概率确实高。

[XIUNAN ZHI]

@Terry 谢谢版主回复，这个新板块确实逼格高，学到不少。

[stxpnet]

我就是开放式机箱,150元,准备上四卡的,现在给3090各加了一块铝片,上面放两个10CM 机箱风扇往上抽热风.

[XIUNAN ZHI]

@stxpnet 说:

在给3090各加了一块铝片,上面放两个10CM 机箱风扇往上抽热风.

是准备背板增加散热吗？

[JumpEggKiller]

这种密度好恐怖，上面的卡都在吸下面卡的热气，直接换矿架吧又不贵

[applejuice]

@JumpEggKiller 不是矿架不好 但是矿架真的没有颜值