<![CDATA[本地AI硬件焦虑个锤子！看看好消息吧]]>突然感慨，在过去的一年当中，本地AI已经从抠抠搜搜的8K/16K这样的上下文窗口，到现在可以毫不顾忌的开到256甚至更长。模型能力也是一代更比一代强，难以想象接下来一两年会发生什么，所以就问了一下27b做了很多的研究，总结如下，大家拿去参考吧，焦虑个锤锤！

Screenshot_20261023_172330.jpg

]]>https://lcz.me/topic/2524RSS for NodeSun, 25 Oct 2026 02:57:44 GMTFri, 23 Oct 2026 07:23:32 GMT60<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sun, 25 Oct 2026 01:37:42 GMT]]>

@johnnybegood 说:

你不买， 我不买， 明天还能降两百

哈哈哈！大家共同的期待！

]]>https://lcz.me/post/27512https://lcz.me/post/27512Sun, 25 Oct 2026 01:37:42 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 15:51:49 GMT]]>你不买， 我不买， 明天还能降两百

]]>https://lcz.me/post/27432https://lcz.me/post/27432Sat, 24 Oct 2026 15:51:49 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 15:49:09 GMT]]>其实现在AI还是有短期泡沫破裂的风险，但问题不在于网上常说的AI能不能变现、能不能提高生产力。长期来看，AI带来生产力革命基本是确定的）。

而是眼下整个产业链的建设有些脱节：大量N卡已经生产出来在仓库，却还在等数据中心建好。老黄还是太贪心了。
像CoreWeave这种靠大量借钱造数据中心的公司，长债收益率一度达到16%。一旦投资者信心变弱，后续融资就可能出问题，甚至资金链断裂。“高利贷”已经借了，数据中心却还没建完，真在这时候爆雷，债权人手里可能只剩一堆难以变现的废铁。
那时候真的就有大船卡了，但上下游产业链也会完蛋，经济也继续下行，大家一起勒紧裤腰带。
出处：Moore's Law Is Dead
Youtube Video

]]>https://lcz.me/post/27430https://lcz.me/post/27430Sat, 24 Oct 2026 15:49:09 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 14:39:06 GMT]]>@stxpnet 已经果断上车双R9700了，刚买完发现又涨了2000

]]>https://lcz.me/post/27397https://lcz.me/post/27397Sat, 24 Oct 2026 14:39:06 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 10:15:14 GMT]]>@fcme 迟早会有吧，关键CUDA哪些年基础没没积累。

]]>https://lcz.me/post/27355https://lcz.me/post/27355Sat, 24 Oct 2026 10:15:14 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 08:33:18 GMT]]>@懒人烘培
是的，必须的

]]>https://lcz.me/post/27330https://lcz.me/post/27330Sat, 24 Oct 2026 08:33:18 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 08:33:00 GMT]]>@David-Chen
是啊，这种性能越来越强，硬件需求越来越低，最后agi的趋势不变的。

]]>https://lcz.me/post/27329https://lcz.me/post/27329Sat, 24 Oct 2026 08:33:00 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 08:31:47 GMT]]>@Lei-Gao
vLLM就是华人弄的，SGlang其实也差不多，AI领域华人无处不在的。这个Strata是个欧洲小伙。

]]>https://lcz.me/post/27328https://lcz.me/post/27328Sat, 24 Oct 2026 08:31:47 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 08:02:11 GMT]]>@stxpnet 确实， 当年考虑过， 不过那个时候是单卡路线， 而且也是考虑cuda环境， 所以从 3090 开始入门， 现在看 R9700越来越接近神卡了。

]]>https://lcz.me/post/27321https://lcz.me/post/27321Sat, 24 Oct 2026 08:02:11 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 07:36:03 GMT]]>🔥 本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2524-1686-1（系统自动发放，显示稍有延迟）

]]>https://lcz.me/post/27312https://lcz.me/post/27312Sat, 24 Oct 2026 07:36:03 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 07:35:54 GMT]]>感觉可以，慢慢好好起来了

]]>https://lcz.me/post/27311https://lcz.me/post/27311Sat, 24 Oct 2026 07:35:54 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 07:12:53 GMT]]>從2022 2023 gpt出世
考慮智能，所需記憶容量
基本上每年是以十倍的速度增加
也就是這三年
我們已經改善1000倍了

]]>https://lcz.me/post/27305https://lcz.me/post/27305Sat, 24 Oct 2026 07:12:53 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 06:57:12 GMT]]>为什么这些框架都是老外的？ 有咱们自己的吗？

]]>https://lcz.me/post/27302https://lcz.me/post/27302Sat, 24 Oct 2026 06:57:12 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Sat, 24 Oct 2026 06:51:55 GMT]]>@fcme 对，32k放显存，其余的放内存，pcie搬运。个人体验速度几乎没啥影响，似乎还快了一点。显存压力啥的小了很多

]]>https://lcz.me/post/27301https://lcz.me/post/27301Sat, 24 Oct 2026 06:51:55 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 23:46:21 GMT]]>@terry
想象一下就是明年5070ti的能顺跑GLM6 flash级别的模型就够了😂😂😂

]]>https://lcz.me/post/27207https://lcz.me/post/27207Fri, 23 Oct 2026 23:46:21 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 18:46:32 GMT]]>合理想象，人总要有点希望，才有动力继续折腾。

]]>https://lcz.me/post/27174https://lcz.me/post/27174Fri, 23 Oct 2026 18:46:32 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 13:56:38 GMT]]>@Tzung-Ru-Tsai
哦，那个我也试了一下，貌似默认的32开就挺好

]]>https://lcz.me/post/27089https://lcz.me/post/27089Fri, 23 Oct 2026 13:56:38 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 10:28:03 GMT]]>@rock-shi
沒記錯的話是KV-resident這個參數，可以把大部分的KV cache塞到RAM裡去，多擠一些VRAM出來放專家權重。

]]>https://lcz.me/post/27008https://lcz.me/post/27008Fri, 23 Oct 2026 10:28:03 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 10:13:43 GMT]]>@rock-shi
什么框架？

]]>https://lcz.me/post/27003https://lcz.me/post/27003Fri, 23 Oct 2026 10:13:43 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 10:13:11 GMT]]>@kos-or
是啊，所以说现在不要着急入硬件。

]]>https://lcz.me/post/27002https://lcz.me/post/27002Fri, 23 Oct 2026 10:13:11 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 10:12:00 GMT]]>@stxpnet
对啊，所以我大概是7月份2170刀(澳元)左右买的，现在看这边已经涨到了2700左右了，NND。
按这个速度下去，我感觉这个卡的生态地位要爆发了。毕竟新卡里能买到32g的，也没有其他选项了。

]]>https://lcz.me/post/27001https://lcz.me/post/27001Fri, 23 Oct 2026 10:12:00 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 08:23:11 GMT]]>我也是昨天开了256k上下文，好像是有一个什么流式kv，省出来的显存还又给了专家

]]>https://lcz.me/post/26953https://lcz.me/post/26953Fri, 23 Oct 2026 08:23:11 GMT<![CDATA[Reply to 本地AI硬件焦虑个锤子！看看好消息吧 on Fri, 23 Oct 2026 08:26:31 GMT]]>Paiton 這麼香喔 哇～～～ @@

現在一堆大神推出新的推論引擎 競爭激烈

QFN 可以開1M上下文,
測過開512K ctx, 480K tokens prompt 丟進去可以找到needles 大海撈針 撈得到

]]>https://lcz.me/post/26951https://lcz.me/post/26951Fri, 23 Oct 2026 08:26:31 GMT