抡锤者

@HHFu517
你如果目标是跑flash next的话应该是不用换电源的。因为是moe模型跑起来比较省电，另外呃也极少有就是两个显卡同时满功率加CPU满功率的状态。

@HHFu517
你可以把你的配置然后给AI看一下，但是B550肯定是不支持pcie通道拆分的。所以你双卡的话应该是没法用这个主板，你需要换一个更高级的主板。具体很烦，你还是找AI问一下

@applejuice
哦，牛逼，牛逼，那也是双卡高带宽并行啊！比不了

@applejuice
5090么，pp这么快？我的5070ti只有2000左右，感觉没有命中的时候还是慢

@applejuice
哦，那你就往上顶吧。我用本地模型的话，感觉有时候上下文太长了，有时候等待时间太长就很烦。用deepseek flash这种在线的很快的模型就无所谓了。

@applejuice
不大量搞代码的话，200K绰绰有余了。我现在虽然是可以开256，但是为了方便各个模型都统一成200k了。
你可以让AI给你看一下你过往的聊天记录，看看超过某个阈值的到底有多少，这个情况频繁不频繁，如果不频繁的话，其实对于本地模型来讲设的低一点响应速度会更快一些。

@alan.lgv60
如果只是跑27b的话，单卡已经很顶了，能到3500的预处理，输出的话能有个100以上，就已经很丝滑了。
如果呢要想达到类似27b的速度，那就只有上双卡tp了。就看你自己的需求了，flash next呢确实好一些，但是又没好那么多。

@范志刚
Ollama不在讨论范围

@懒人烘培
是的，必须的

@David-Chen
是啊，这种性能越来越强，硬件需求越来越低，最后agi的趋势不变的。

@Lei-Gao
vLLM就是华人弄的，SGlang其实也差不多，AI领域华人无处不在的。这个Strata是个欧洲小伙。

@terry
想象一下就是明年5070ti的能顺跑GLM6 flash级别的模型就够了

@Tzung-Ru-Tsai
哦，那个我也试了一下，貌似默认的32开就挺好

@rock-shi
什么框架？

@kos-or
是啊，所以说现在不要着急入硬件。

@stxpnet
对啊，所以我大概是7月份2170刀(澳元)左右买的，现在看这边已经涨到了2700左右了，NND。
按这个速度下去，我感觉这个卡的生态地位要爆发了。毕竟新卡里能买到32g的，也没有其他选项了。

@zeus177169
一点不夸张，现在paiton的W3A4的27B模型已经基本接近无损了。

突然感慨，在过去的一年当中，本地AI已经从抠抠搜搜的8K/16K这样的上下文窗口，到现在可以毫不顾忌的开到256甚至更长。模型能力也是一代更比一代强，难以想象接下来一两年会发生什么，所以就问了一下27b做了很多的研究，总结如下，大家拿去参考吧，焦虑个锤锤！

@Luke-Mao
哦，那双卡并发的话，速度还是要快很多，嗯，不错，值得参考，我没准也再搞一张,谢谢

@wml-ai
对啊，27b干一些小活脚本之类的还是很不错的，到flash next就是真的可以放心做很多事情了，肉眼可见的提升！
我的pt账户好久不登录，然后被封了。昨天让flash next给我手搓了一个，嗯，当然不是从零开始，而是说它给我配置了各种docker compose，还有一个集成的操作的界面之类的。吭哧吭哧干了几个小时，虽然最后还是不能用，但是整个流程是跑下来跑通了一点问题没有。不能用，是因为现在已经公网的BT种子已经几乎绝迹了，这个是大环境的问题，不是他模型能力的问题。