跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 跑27b模型购买设备请教

跑27b模型购买设备请教

已定时 已固定 已锁定 已移动 AI硬件
16 帖子 10 发布者 602 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT terry

    @y2k 那就买xtx,一步到位,它足够用了。你在hermes里优化设置是浪费时间,xtx可以开128k吗,足够了。

    Y 离线
    Y 离线
    y2k
    编写于 最后由 编辑
    #6

    @terry 好的,听取博主意见,后面有坑记得告知哈

    1 条回复 最后回复
    0
    • Sam HsuS 离线
      Sam HsuS 离线
      Sam Hsu
      编写于 最后由 编辑
      #7

      如果可以 建議還是買3090 如果以後要跑comfyui 少折磨 或者要賣 都容易脫手
      二手3090也是有保固的 國內維修都是小問題 除非是在國外

      1 条回复 最后回复
      0
      • TideT 离线
        TideT 离线
        Tide
        编写于 最后由 编辑
        #8

        我就是3080 20G,只是拿来玩玩可以,干正事建议你还是规格往上。你听老特的没错,他这人尽说实话。

        1 条回复 最后回复
        0
        • A 离线
          A 离线
          asd2667
          编写于 最后由 编辑
          #9

          iq4-xs 可以跑128K上下文 KV8压缩

          1 条回复 最后回复
          0
          • Y y2k

            目前我给hermes提示了一个规则,做复杂任务时,上下文到达16k后,压缩归纳,然后重开一个新的对话,继续接着做,直到任务完成为止。目前用了这个规则,测试了一个复杂任务也能处理好了,分享一下

            怪 离线
            怪 离线
            怪叔叔
            编写于 最后由 编辑
            #10

            @y2k 能具体介绍一下方法嘛?谢谢

            1 条回复 最后回复
            0
            • I 离线
              I 离线
              im17me
              编写于 最后由 编辑
              #11

              看自已能接受什么价位,要么上3090 24g,有钱最好上4090 48g

              1 条回复 最后回复
              0
              • Y y2k

                博主好,首先感谢你在油管分享的视频,我看了大受震撼!本人长期和linux系统打交道,最近借了同事的5060ti 16g显卡部署了wen3.6-27b-iq4-xs模型,全量加载后13.5g,可用显存1.5g,开启kv cache 双q8后,勉强可以跑20k上下文。接着在另外一个笔记本上部署hermes,要求64k上下文,虽然通过设置可以让hermes运行,但是每次执行任务很快就到18k上下文,做简单任务有时候都会溢出,真是让人又爱又恨!目前想买3080 20g卡学习 comfyui ,同时也需要跑跑本地模型编程,问问20g的3080最大可以跑多少上下文?不胜感激!

                williamlouisW 离线
                williamlouisW 离线
                williamlouis
                编写于 最后由 编辑
                #12

                @y2k 推荐小霸王学习机 7900xtx 24G

                个人主页:xlkj.org Telegram https://t.me/xinlinlu

                1 条回复 最后回复
                0
                • williamlouisW 离线
                  williamlouisW 离线
                  williamlouis
                  编写于 最后由 编辑
                  #13

                  昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

                  个人主页:xlkj.org Telegram https://t.me/xinlinlu

                  J 1 条回复 最后回复
                  0
                  • williamlouisW williamlouis

                    昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

                    J 离线
                    J 离线
                    joker_chang
                    编写于 最后由 编辑
                    #14

                    @williamlouis 怎么可能不是矿卡......

                    A 1 条回复 最后回复
                    0
                    • J joker_chang

                      @williamlouis 怎么可能不是矿卡......

                      A 在线
                      A 在线
                      applejuice
                      编写于 最后由 applejuice 编辑
                      #15

                      @joker_chang 说:

                      @williamlouis 怎么可能不是矿卡......

                      可不可以基本可以100%确定 3090 一定是矿卡?
                      矿卡跑了几年有10-20%的性能下降?

                      我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
                      有两年保家 害我又犹豫了

                      terryT 1 条回复 最后回复
                      0
                      • A applejuice

                        @joker_chang 说:

                        @williamlouis 怎么可能不是矿卡......

                        可不可以基本可以100%确定 3090 一定是矿卡?
                        矿卡跑了几年有10-20%的性能下降?

                        我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
                        有两年保家 害我又犹豫了

                        terryT 在线
                        terryT 在线
                        terry
                        编写于 最后由 terry 编辑
                        #16

                        @applejuice 3090早特么停产了,100%矿卡,给你保你相信就没啥问题,关键是互信。

                        1 条回复 最后回复
                        1

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 没有帐号? 注册

                        • 登录或注册以进行搜索。
                        • 第一个帖子
                          最后一个帖子
                        0
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组