AI MAX 395 也在提速

[stxpnet]

最近个人本地部署是要集中爆发了吗？

[applejuice]

再搞下去 显卡 内存价钱又要飙了

[babyedi3]

它再折腾也没用了，250GB/s的内存带宽，生态不如NV，苹果mac

[stxpnet]

带宽确实不行，不过生态，我感觉最近被本地 LLM的发展给颠覆了，R9700 突然变得超值

[terry]

@applejuice 有大量的DDR3工业垃圾，涨不到天上去，DDR4估计得涨，因为停产了。DDR5产能上来，有可能稍微缓解下。

[dardeaw feng]

這速度還遠遠打不贏Halogen，連Gufo都打不贏.....，llama.cpp底的框架，高併發也是輸Gufo去了
話說395搭Halogen是真的打贏DGX Spark+vllm了，然後NPU的速度也提升很多，可敬...但死不開源

最近都是用Gufo，愛上開源的生態~可以一直幫作者更新，整個架構概念設計的不錯，今天才編一版Q8的KV量化給作者審

[stxpnet]

带宽和 Transformer架构已经决定了大多数 结果。