抡锤者

你不应该生气，你应该冷静的把他毙了。

我一般是单独建一个文件夹，并且严格交代它没有删除任何东西的权限，要它所有需要删除的东西全放这里面，由我来确认并删除。这条在SOUL和MEMORY都写上。

3080 20G是可以跑27b Q4KM 上下文128k的。我用的llama-turboquant版本

windows10pro，安装倒是挺快的。但死活设置不了中文，对话框下面显示本地模型正确，对话内容却发送不出去。AI换了一个又一个，没一个AI能解决。。。脑壳疼呀。等我换台电脑再试下。。。

skin: default
language: zh-CN
tui_status_indicator: kaomoji
user_message_preview:
first_lines: 2
last_lines: 2

准备试试，感谢分享。

谢谢楼主，其中有些要点很多新手常常会犯到。

这个必须去了解一下。。。谢谢楼主分享

给爱折腾的楼主点赞

@terry 哈哈,惭愧呀.我哪有什么部署过程啊,无非就是把你这论坛两个帖子发给AI,要他仔细看一遍.然后学你的样使劲骂deepseek v4 flash.让他帮我全部搞定,我只监工.完工后体验是真好,让我不再焦虑64k上下文了.其余变化不大,显存占用比以前少了一点点.参考的另一个帖子是大模型16G卡的春天,但不是同样的llama.cpp.

抄作业完毕,感谢楼主!!!
我的硬件配置:2680v4,32G内存,3080 20G,主板x99比老特的x99还要丐.

这是玩音响吗?看着像功放线路,就是图不太清楚...

@ezios 这是必须的

@simo9052 我准备抄你的作业

@ezios 大神,膜拜.8G都跑起了35b a3b

上下文翻倍了,也想试试了...目前64K用起来真让人有点招鸡呀,一个小小的任务下来只看见他一遍一遍的压缩对话...

虽然我觉得比较便宜也购买了v4flash,但还是觉得能再降一点价格.大众化了才能百花齐放

儿童节申请版主。。。有点意思

@Xiaote 你爹叫你回家吃饭了

我也是从赛扬300，TNT32过来的人，但我一点也不老。虽然也算比较早用电脑，但我至今还是小白。品牌机我最喜欢的就一样东西，机箱。