1. 单卡16Gvram 加载dspark这种单独的草稿模型，oom。
2. tp不能增加decode速率，448G带宽，decode天花板摆着。
3. 27B FP8，4卡5060ti tp4 prefill 2300，decode 50-60左右，我的本地任务的多数请求是input几百左右，output 10000左右。因此更关注decode效率，4080的带宽是736G因此更好。
4. 偶尔跑 finetune任务。
5. 无聊时玩image或者video任务。

缺点：不能跑tp了，除非再买一张4080。27B FP8 用vllm和sg都跑不了，试了一下fastllm引擎，可以跑 pp，64层自定义层切分，可以跑起来，prefill也有2000左右，但decode只有30了，应该是pcie导致。

优点：得到一张32G卡，带宽也高。另外，最近新出的这批4080，好像涡轮可以自动调速了，待机状态30 40%的转速，不吵，噪音还没3970x的cpu风扇高。但满载时100%转速还是很吵。

关于质保，店家3年质保，其背后一般直接对工厂。买回来跑推理和视频压测了一下午，室温30，显卡温度70-80度之间。这段时间用下来暂时没其他问题。

部署方法：

1. 单机双模型，4080单卡部署27B，4bit到6bit之间。5060ti单卡部署strata。
2. 如果需要更高精度例如 27B FP8, 需要48Gvram，fastllm调优一下勉强用。相信陆续会有更多引擎支持更好的tp或者pp部署方式。

这是过渡方案，计划等以后显卡价格下降了，再买两张大显存的pro系列组tp。