抡锤者

电源直接买大，万一有双卡需求，到时候又要买大的，我现在就是这样的买了个850W的现在双卡又买了个1200W的

再买一张组tp=2 的vllm体验会很丝滑

480GB lpddr5x 这价格贵到什么时候去了

vllm0.23.0 +lmcache is here PCIE5 +双7900xtx tp=2 体验非常棒

llama.cpp 均速50+（建议用q4，质量不差），就是prefill 单pflash还行，但是和dflash不能一起用。用agent多轮对话主要看pp，tg其实没那么重要

一张5090~~

@QuincySnow 这个你需要自己改代码

我以为llama.cpp mtp已经稳定在50-60很爽了，但是prefill在上下文时 prefill稳定的下降，agent影响很大
这个prefill 这么稳定，搞得我再想买一个7900xtx了！不知道质量如何

pro 6000 没有别的缺点，就一个缺点贵！当然这个是我们的缺点。谁不想双卡6000 本地部署DeepSeek v4 flash 10并发爽死。搞好工作流。几乎都可以跑很多个agent了。到时候是你没有这么多任务喂给他

@terry 技术性实时性搜索grok是真的强。

这些测试我都复现了，但是上qwen code 或者opencode 慢出翔！还不如9B好，至少能出活

4080S 32G 我觉得这个性价比高

nvidia 3090 及其类似的 请看这个作者，优化很多
https://github.com/noonghunna/club-3090