AI MAX 395 也在提速

[stxpnet]

最近个人本地部署是要集中爆发了吗？

[applejuice]

再搞下去 显卡 内存价钱又要飙了

[babyedi3]

它再折腾也没用了，250GB/s的内存带宽，生态不如NV，苹果mac

[stxpnet]

带宽确实不行，不过生态，我感觉最近被本地 LLM的发展给颠覆了，R9700 突然变得超值

[terry]

@applejuice 有大量的DDR3工业垃圾，涨不到天上去，DDR4估计得涨，因为停产了。DDR5产能上来，有可能稍微缓解下。

[dardeaw feng]

這速度還遠遠打不贏Halogen，連Gufo都打不贏.....，llama.cpp底的框架，高併發也是輸Gufo去了
話說395搭Halogen是真的打贏DGX Spark+vllm了，然後NPU的速度也提升很多，可敬...但死不開源

最近都是用Gufo，愛上開源的生態~可以一直幫作者更新，整個架構概念設計的不錯，今天才編一版Q8的KV量化給作者審

[stxpnet]

带宽和 Transformer架构已经决定了大多数 结果。

[dardeaw feng]

@stxpnet 別太小看 我395可是3.8fn Q4噴到tg 7X~8X

[dardeaw feng]

@babyedi3 參考一下吧 這我之前測的Halogen數據，跑的可是Qwen3.8 Flash Next的Q4量化，KV是Q8的量化，可不是目前Strata的Q2 Q3......，這周的更新速度又更快了，多開對話也可以非常流暢

[babyedi3]

@dardeaw-feng 谢谢佬的资讯，我不是抬杠的意思。
我意思只是amd这个cpu、gpu性能，还有250GB/s左右的内存带宽，再怎么优化，
它能优化的，AI时代，很快苹果和NV一样移植优化，到最后还是拼GPU、CPU、统一内存/显存带宽速度。
它从20tok/s优化到40，那nv就能从40优化到80，苹果也能从80优化到160.
在studio的1.2T/s带宽和cpu、gpu更强的情况下，尤其是大模型本地部署，也没可比性。因为这个amd机器128g已经去到2w了。
495的192g甚至到了4-5w。所以类似价格跟96G 256G的苹果比完全没有竞争力。
就正如论坛主说的，在strata的出现之后，nv的gb10和amd的这些小主机，很快沦为“工业垃圾”了

[dardeaw feng]

@babyedi3 這CPU性能很好呀 最早就是想找台16核32線的CPU才買的，AVX512的Zen5 U就多少錢了?
我年初一萬五買的 玩得很開心，前陣子生態不好時差點想拿去賣掉，現在生態起來了反而變得超好玩
那個時間點很明確的趨勢就是存儲正大漲，但剩一些迷你機與筆記本因為庫存原因還沒跟著漲，怎樣都要買台機器屯著，
當時單純想說如果AI玩不起來或是我自己玩不轉，最差就是當一台比較貴的迷你機反正所有PC生態他全部兼容，
光128G內存跟16核Zen5就不只那個錢了，還送個GPU能到整台處帶著走，應該買這價格不虧
但現在2萬多起跳...這價格我一定不會買...

現在那個495、RTX Spark是要割誰韭菜是有那麼多韭菜智障好割嗎?
市場會說話啦，Strata出來後礦機都能贏，現在最強性價比就是X99+V100 16G+礦電，三四千就能順跑單會話了超香。