Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
这是新的配置,之前的配置上下文到了100多K之后,KV缓存会耗费大量时间做交换,用这个配置就不会了,后期的速度会快很多,能明显感觉到 这个配置初始大概有60多T/S PREFILL大约1200T/S,上下文快满了的时候大概40T/S,PREFILL大约500T/S,实际上和在线API的感觉没什么很大区别了
感谢分享感谢分享
感谢分享,太有帮助了
大佬,照着参数搞,一样3080 20G,就这样
换用DEEPSEEK HARNESS,就可以了
牛逼,这个配置无敌了,又快又好。感谢
@vosrock 请问楼主,我最近买的3080, 这个配置3.8 27b也能抄作业吗。谢谢您
用3.8一样可以用类似的配置,而且用DSH的话,死循环问题几乎不会出现,反正我是没有遇到过了,缺点是雷霆长思考
版主审定:本帖设为精华,作者 +5 积分奖励,希望再接再厉!
奖励凭证:精华 +5 分 · 编号 f243-714-1(系统自动发放,只发一次)
@captainheemo 说: @vosrock 请问楼主,我最近买的3080, 这个配置3.8 27b也能抄作业吗。谢谢您
@captainheemo 说:
给你最新的3.8的配置,一楼更新了
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。
有了你的建议,这篇帖子会更精彩哦 💗