跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. AI硬件
  3. 律师找到了我了

律师找到了我了

已定时 已固定 已锁定 已移动 AI硬件
16 帖子 6 发布者 311 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 深 深圳律师陈扬波

    此主題已被删除!

    kop wangK 离线
    kop wangK 离线
    kop wang
    编写于 最后由 编辑
    #6
    此主題已被删除!
    1 条回复 最后回复
    0
    • Devin HiD 离线
      Devin HiD 离线
      Devin Hi
      编写于 最后由 编辑
      #7

      初步沟通:准备部署deepseeek V4 flash 4张 A100 配套的都有啥?有兄弟有实际经验分享没有?

      kop wangK 九龙杨生九 2 条回复 最后回复
      0
      • Devin HiD Devin Hi

        初步沟通:准备部署deepseeek V4 flash 4张 A100 配套的都有啥?有兄弟有实际经验分享没有?

        kop wangK 离线
        kop wangK 离线
        kop wang
        编写于 最后由 编辑
        #8

        @Devin-Hi 如果有更新的信息,可以单独发一帖或者编辑下标题和正文,这样更容易吸引到大佬

        1 条回复 最后回复
        0
        • M 离线
          M 离线
          mark
          编写于 最后由 编辑
          #9
          此主題已被删除!
          1 条回复 最后回复
          0
          • M 离线
            M 离线
            mark
            编写于 最后由 编辑
            #10
            此主題已被删除!
            深 1 条回复 最后回复
            0
            • Devin HiD Devin Hi

              初步沟通:准备部署deepseeek V4 flash 4张 A100 配套的都有啥?有兄弟有实际经验分享没有?

              九龙杨生九 离线
              九龙杨生九 离线
              九龙杨生
              编写于 最后由 编辑
              #11

              @Devin-Hi 个人认为单张卡就行了,3-4人应该也不会说需要分析特别多的案子,可能刚开始积累的案子都分析了,后面机器利用率其实就比较低了,一个案子估计几十万或者复杂点上百万的卷宗文字对机器来说负荷都比较低的,甚至上千万的数据都不算多。
              主要还是追求上下文长度和精确度,就是说要大显存来容纳高精度和上下文,因为大模型的读取速度和思考速度不一样的,我用的RTX6000用QWEN3.6 27B FP8模型字符读取速度最多能到8万字符每秒,但是字符输出速度50-200token/秒平均在90多;输出的都是精炼了的东西。
              你这种专业领域比较偏向的,感觉是不是MOE那种专家模型会好一些。

              Devin HiD 1 条回复 最后回复
              0
              • 深 离线
                深 离线
                深圳律师陈扬波
                已封禁
                编写于 最后由 编辑
                #12
                此主題已被删除!
                1 条回复 最后回复
                0
                • M mark

                  此主題已被删除!

                  深 离线
                  深 离线
                  深圳律师陈扬波
                  已封禁
                  编写于 最后由 编辑
                  #13
                  此主題已被删除!
                  1 条回复 最后回复
                  0
                  • 深 离线
                    深 离线
                    深圳律师陈扬波
                    已封禁
                    编写于 最后由 编辑
                    #14
                    此主題已被删除!
                    1 条回复 最后回复
                    0
                    • Devin HiD Devin Hi

                      本人有一个律师事务所的朋友,他们可能需要对他们客户的资料进行分析,因为涉及机密,所以不能用公有云和大模型,朋友找到我,其实朋友感觉也不是很懂,一上来就和我说要120b模型。。。。。。 ,问我需要什么样的配置. 对于此,我并不是特别胸有成竹,所以上来求助各位大神给推荐一个硬件配置,并发数应该不大,最高3-4人。

                      越详细越好,本人特感谢。

                      J 离线
                      J 离线
                      johnnybegood
                      编写于 最后由 编辑
                      #15

                      @Devin-Hi 直接 rtx 6000 pro 双卡

                      1 条回复 最后回复
                      0
                      • 九龙杨生九 九龙杨生

                        @Devin-Hi 个人认为单张卡就行了,3-4人应该也不会说需要分析特别多的案子,可能刚开始积累的案子都分析了,后面机器利用率其实就比较低了,一个案子估计几十万或者复杂点上百万的卷宗文字对机器来说负荷都比较低的,甚至上千万的数据都不算多。
                        主要还是追求上下文长度和精确度,就是说要大显存来容纳高精度和上下文,因为大模型的读取速度和思考速度不一样的,我用的RTX6000用QWEN3.6 27B FP8模型字符读取速度最多能到8万字符每秒,但是字符输出速度50-200token/秒平均在90多;输出的都是精炼了的东西。
                        你这种专业领域比较偏向的,感觉是不是MOE那种专家模型会好一些。

                        Devin HiD 离线
                        Devin HiD 离线
                        Devin Hi
                        编写于 最后由 编辑
                        #16

                        @九龙杨生 如果用QWEN3.6 27B FP8模型字符,感觉的确这个硬件配置不用这么高,6000 应该可以了,但主要是不知道使用效果,这个硬件也不好进行迭代。所以比较慎重。当然也不想花冤枉钱。

                        1 条回复 最后回复
                        0

                        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                        厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                        有了你的建议,这篇帖子会更精彩哦 💗

                        注册 登录
                        回复
                        • 在新帖中回复
                        登录后回复
                        • 从旧到新
                        • 从新到旧
                        • 最多赞同


                        • 登录

                        • 没有帐号? 注册

                        • 登录或注册以进行搜索。
                        • 第一个帖子
                          最后一个帖子
                        0
                        • 版块
                        • 最新
                        • 标签
                        • 热门
                        • 用户
                        • 群组