跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 跑27b模型购买设备请教

跑27b模型购买设备请教

已定时 已固定 已锁定 已移动 AI硬件
16 帖子 10 发布者 602 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • Sam HsuS 离线
    Sam HsuS 离线
    Sam Hsu
    编写于 最后由 编辑
    #7

    如果可以 建議還是買3090 如果以後要跑comfyui 少折磨 或者要賣 都容易脫手
    二手3090也是有保固的 國內維修都是小問題 除非是在國外

    1 条回复 最后回复
    0
    • TideT 离线
      TideT 离线
      Tide
      编写于 最后由 编辑
      #8

      我就是3080 20G,只是拿来玩玩可以,干正事建议你还是规格往上。你听老特的没错,他这人尽说实话。

      1 条回复 最后回复
      0
      • A 在线
        A 在线
        asd2667
        编写于 最后由 编辑
        #9

        iq4-xs 可以跑128K上下文 KV8压缩

        1 条回复 最后回复
        0
        • Y y2k

          目前我给hermes提示了一个规则,做复杂任务时,上下文到达16k后,压缩归纳,然后重开一个新的对话,继续接着做,直到任务完成为止。目前用了这个规则,测试了一个复杂任务也能处理好了,分享一下

          怪 离线
          怪 离线
          怪叔叔
          编写于 最后由 编辑
          #10

          @y2k 能具体介绍一下方法嘛?谢谢

          1 条回复 最后回复
          0
          • I 离线
            I 离线
            im17me
            编写于 最后由 编辑
            #11

            看自已能接受什么价位,要么上3090 24g,有钱最好上4090 48g

            1 条回复 最后回复
            0
            • Y y2k

              博主好,首先感谢你在油管分享的视频,我看了大受震撼!本人长期和linux系统打交道,最近借了同事的5060ti 16g显卡部署了wen3.6-27b-iq4-xs模型,全量加载后13.5g,可用显存1.5g,开启kv cache 双q8后,勉强可以跑20k上下文。接着在另外一个笔记本上部署hermes,要求64k上下文,虽然通过设置可以让hermes运行,但是每次执行任务很快就到18k上下文,做简单任务有时候都会溢出,真是让人又爱又恨!目前想买3080 20g卡学习 comfyui ,同时也需要跑跑本地模型编程,问问20g的3080最大可以跑多少上下文?不胜感激!

              williamlouisW 离线
              williamlouisW 离线
              williamlouis
              编写于 最后由 编辑
              #12

              @y2k 推荐小霸王学习机 7900xtx 24G

              个人主页:xlkj.org Telegram https://t.me/xinlinlu

              1 条回复 最后回复
              0
              • williamlouisW 离线
                williamlouisW 离线
                williamlouis
                编写于 最后由 编辑
                #13

                昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

                个人主页:xlkj.org Telegram https://t.me/xinlinlu

                J 1 条回复 最后回复
                0
                • williamlouisW williamlouis

                  昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

                  J 离线
                  J 离线
                  joker_chang
                  编写于 最后由 编辑
                  #14

                  @williamlouis 怎么可能不是矿卡......

                  A 1 条回复 最后回复
                  0
                  • J joker_chang

                    @williamlouis 怎么可能不是矿卡......

                    A 在线
                    A 在线
                    applejuice
                    编写于 最后由 applejuice 编辑
                    #15

                    @joker_chang 说:

                    @williamlouis 怎么可能不是矿卡......

                    可不可以基本可以100%确定 3090 一定是矿卡?
                    矿卡跑了几年有10-20%的性能下降?

                    我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
                    有两年保家 害我又犹豫了

                    terryT 1 条回复 最后回复
                    0
                    • A applejuice

                      @joker_chang 说:

                      @williamlouis 怎么可能不是矿卡......

                      可不可以基本可以100%确定 3090 一定是矿卡?
                      矿卡跑了几年有10-20%的性能下降?

                      我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
                      有两年保家 害我又犹豫了

                      terryT 离线
                      terryT 离线
                      terry
                      编写于 最后由 terry 编辑
                      #16

                      @applejuice 3090早特么停产了,100%矿卡,给你保你相信就没啥问题,关键是互信。

                      1 条回复 最后回复
                      1

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 没有帐号? 注册

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组