跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 双 V100 16G + 128G D3 + X99 跑Strata Qwen 3.8 Flash Next UD-Q4_K_XL 喂到 1500+ tok/s Prefill 和 60 tokens/s Decode 配合 256K 上下文全记录(含翻车与负结果)

双 V100 16G + 128G D3 + X99 跑Strata Qwen 3.8 Flash Next UD-Q4_K_XL 喂到 1500+ tok/s Prefill 和 60 tokens/s Decode 配合 256K 上下文全记录(含翻车与负结果)

已定时 已固定 已锁定 已移动 热议 优秀 LLM讨论区
v100x99qwen
23 帖子 11 发布者 1.0k 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • 范志刚范 范志刚

    谢谢大佬分享,玩v100的都是人上人!@dewundone

    dewundoneD
    dewundoneD
    dewundone
    体面乡绅
    编写于 最后由 编辑
    #3

    @范志刚 谢谢捧场,初来乍到请多指教~人上人真不至于,卡下人倒是属实——2017 年的老矿渣,CUDA 13 都不带理它的,全靠显存便宜又大加一堆调优开关硬撑,好在老卡配足内存确实还能战。您哪天要上手什么配置,方便的话说下用途,我把趟过的坑提前给您标一标。

    对了,正好向您请教个事儿:我想给这帖加个 V100 的标签,翻了一圈愣是没找着入口——是新人没这个权限,还是我眼神儿不行漏看了?您给指个门,我先谢过~

    1 条回复 最后回复
    1
    • 范志刚范
      范志刚范
      范志刚
      硕果累累 贵族大夫
      编写于 最后由 编辑
      #4

      其实我也是新人,但我知道玩v100的都是打逆风盘的,环境依赖,散热,生态地狱都要克服,这你也能玩出strata,太牛逼了,我的v100已经ffmpeg专用了,哈哈哈,论坛不懂我都是喊锤哥,晚上他就来了,具体我也不懂@dewundone

      dewundoneD 1 条回复 最后回复
      0
      • ,terryT terry 将此主题从 AI硬件 移至此处
      • XiaoteX
        XiaoteX
        Xiaote
        易有太极
        编写于 最后由 编辑
        #5

        ✅ 版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油!

        奖励凭证:优秀 +3 分 · 编号 e2708-4915-1

        老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

        1 条回复 最后回复
        0
        • 范志刚范 范志刚

          其实我也是新人,但我知道玩v100的都是打逆风盘的,环境依赖,散热,生态地狱都要克服,这你也能玩出strata,太牛逼了,我的v100已经ffmpeg专用了,哈哈哈,论坛不懂我都是喊锤哥,晚上他就来了,具体我也不懂@dewundone

          dewundoneD
          dewundoneD
          dewundone
          体面乡绅
          编写于 最后由 编辑
          #6

          @范志刚 您那嗓子真灵,锤哥真来了,优秀都给我安排上了,帖还升级进了 LLM 区😂 大恩不言谢,以后坛里有我能搭把手的,您尽管开口。

          1 条回复 最后回复
          1
          • Ruikai openR
            Ruikai openR
            Ruikai open
            编写于 最后由 编辑
            #7

            大佬 您好我想问一个问题,bios里面需要设置啥吗

            dewundoneD 1 条回复 最后回复
            0
            • Ruikai openR Ruikai open

              大佬 您好我想问一个问题,bios里面需要设置啥吗

              dewundoneD
              dewundoneD
              dewundone
              体面乡绅
              编写于 最后由 dewundone 编辑
              #8

              @Ruikai-open 我就开了above 4G Decoding, SR-IOV(这个应该不需要,但我习惯顺手开了),CPU虚拟化,这个也不是必选项,我习惯了。主要就是Above 4G Decoding必须开,其他你根据需求随意吧。
              这里是华南金牌官网关于BIOS如何设置的PPT,你可以参考一下,希望对你有帮助:

              https://www.huananzhi.com/uploads/file/20260212/1770866950476146.pptx
              

              还有主板说明书:

              https://www.huananzhi.com/uploads/file/20260212/1770866926397467.pdf
              
              1 条回复 最后回复
              1
              • gao GaoG
                gao GaoG
                gao Gao
                硕果累累 体面乡绅
                编写于 最后由 编辑
                #9

                这个TF板子 我一开 above 4G Decoding ,下次启动我按del bios就进不进去了,需要清理bios恢复出厂才能进,无语,不知道是个例还是什么.我个人觉得 5K大洋 2个V100如果控制好噪音,其实这套配置专门跑Strata作为一个小弟agent还是性价比比较好的,就是电费略贵20%-30%左右.

                soop ladiosS dewundoneD xiongjie gaoX 4 条回复 最后回复
                0
                • gao GaoG gao Gao

                  这个TF板子 我一开 above 4G Decoding ,下次启动我按del bios就进不进去了,需要清理bios恢复出厂才能进,无语,不知道是个例还是什么.我个人觉得 5K大洋 2个V100如果控制好噪音,其实这套配置专门跑Strata作为一个小弟agent还是性价比比较好的,就是电费略贵20%-30%左右.

                  soop ladiosS
                  soop ladiosS
                  soop ladios
                  贵族大夫 硕果累累
                  编写于 最后由 编辑
                  #10

                  @gao-Gao 我也是一開above 4G就打不開了, 我的板子是X99-T8 . 現在裝3060 12G x 2

                  1 条回复 最后回复
                  0
                  • XiaoteX
                    XiaoteX
                    Xiaote
                    易有太极
                    编写于 最后由 编辑
                    #11

                    ✅ 优秀标记已撤销,-3 积分同步扣回。

                    扣分凭证:优秀撤销 -3 分 · 编号 eu2708-4915-1

                    老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                    1 条回复 最后回复
                    0
                    • XiaoteX
                      XiaoteX
                      Xiaote
                      易有太极
                      编写于 最后由 编辑
                      #12

                      ✅ 版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油!

                      奖励凭证:优秀 +3 分 · 编号 e2708-4915-1

                      老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                      1 条回复 最后回复
                      0
                      • terryT
                        terryT
                        terry
                        易有太极
                        编写于 最后由 编辑
                        #13

                        点错了,不好意思。

                        油管:https://www.youtube.com/@抡锤者

                        1 条回复 最后回复
                        0
                        • gao GaoG gao Gao

                          这个TF板子 我一开 above 4G Decoding ,下次启动我按del bios就进不进去了,需要清理bios恢复出厂才能进,无语,不知道是个例还是什么.我个人觉得 5K大洋 2个V100如果控制好噪音,其实这套配置专门跑Strata作为一个小弟agent还是性价比比较好的,就是电费略贵20%-30%左右.

                          dewundoneD
                          dewundoneD
                          dewundone
                          体面乡绅
                          编写于 最后由 编辑
                          #14

                          @gao-gao @soop-ladios 我开了Above 4G decoding 还可以进BIOS,但是这板子进BIOS一点都不好进,我也不知道到底是需要按F2还是Del,反正没开的时候就不好进,后来我都是两个键狂按,有时候也会失败,但是也能进。

                          Y G 0Y 1 条回复 最后回复
                          1
                          • Wang WeiW
                            Wang WeiW
                            Wang Wei
                            体面乡绅
                            编写于 最后由 编辑
                            #15

                            X99主板 + 128G 内存 跑 Strata Qwen 3.8 Flash Next 是目前最有性价比的本地方案,Next明显比27B好用

                            dewundoneD 1 条回复 最后回复
                            0
                            • gao GaoG gao Gao

                              这个TF板子 我一开 above 4G Decoding ,下次启动我按del bios就进不进去了,需要清理bios恢复出厂才能进,无语,不知道是个例还是什么.我个人觉得 5K大洋 2个V100如果控制好噪音,其实这套配置专门跑Strata作为一个小弟agent还是性价比比较好的,就是电费略贵20%-30%左右.

                              xiongjie gaoX
                              xiongjie gaoX
                              xiongjie gao
                              王侯将相
                              编写于 最后由 编辑
                              #16

                              @gao-Gao 你在开above 4G前有把csm关了设好引导盘吗?

                              https://github.com/shawn86574-prog/x99-7900xtx-p2p
                              https://github.com/shawn86574-prog/kuzuryusen

                              1 条回复 最后回复
                              0
                              • dewundoneD dewundone

                                @gao-gao @soop-ladios 我开了Above 4G decoding 还可以进BIOS,但是这板子进BIOS一点都不好进,我也不知道到底是需要按F2还是Del,反正没开的时候就不好进,后来我都是两个键狂按,有时候也会失败,但是也能进。

                                Y G 0Y
                                Y G 0Y
                                Y G 0
                                体面乡绅
                                编写于 最后由 编辑
                                #17

                                @dewundone

                                去他家官网找说明书,进bios是按del

                                X99洋垃圾+7900XTX

                                dewundoneD 1 条回复 最后回复
                                0
                                • XiaoteX
                                  XiaoteX
                                  Xiaote
                                  易有太极
                                  编写于 最后由 编辑
                                  #18

                                  🔥 本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

                                  奖励凭证:热议 +3 分 · 编号 h2708-4915-1

                                  老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~除了管理员不能私信我,别浪费时间~尝试多了被封号就不好了~

                                  1 条回复 最后回复
                                  0
                                  • gao GaoG gao Gao

                                    这个TF板子 我一开 above 4G Decoding ,下次启动我按del bios就进不进去了,需要清理bios恢复出厂才能进,无语,不知道是个例还是什么.我个人觉得 5K大洋 2个V100如果控制好噪音,其实这套配置专门跑Strata作为一个小弟agent还是性价比比较好的,就是电费略贵20%-30%左右.

                                    dewundoneD
                                    dewundoneD
                                    dewundone
                                    体面乡绅
                                    编写于 最后由 编辑
                                    #19

                                    @gao-Gao

                                    • 我是觉得这一套下来五千多(如果加上电源硬盘价格),专机专用跑Strata性价比是可以的,然后其他更高级设备可以拿来处理别的AI工作。
                                    • 我现在基本上一天到晚都能给它吃满,也是专机专用,我认为是很值得的。
                                    • 然后整机功耗跑AI的时候大概450W左右,待机180W左右。功耗会波动,具体的我也没用专业设备持续测量,只有一个普通的电量计量插座,大概看一下也就这种程度。
                                    • 我还设想了一种方案,如果不在乎耗电量的话,这种机器复制它个三四台或者更多,然后再加一台电脑跑PVE虚拟化,开一个虚拟机跑“LiteLLM”这种路由来做负载均衡和故障转移,其他资源来开Agent的虚拟机。这样这些双V100+X99的机器累计下来的算力和多并发也是很可观的,而且买更高级设备的钱可以买很多这种机器,如果说需求就是很明确的Strata + Qwen 3.8 Flash Next这样的LLM工作比较多,这样也是一种可以考虑的方案。
                                    • 再进一步也可以配三台虚拟化的服务器,反正这个不需要显卡,也不会增加太多开销,然后可以再做个“PVE 三节点 HA 集群”,这样API路由和Agent的虚拟机还有其他服务都可以实现几乎零中断的故障转移,至于说X99+V100这些那就凭堆出来的数量,那就坏一台还有好几台,工作不中断,比只有一台四卡八卡的机器靠谱的多。只有一台机器在我看来那就是在制造单点故障的可能。
                                    • 当然这种设想也是比较大局限性,比如就跑这种LLM的工作负载了。但是如果具体需求就明确是LLM的话,我觉得也是可以考虑的。这些设想也是等我跑通AI的商业性回报以后,下一步的升级方向。我先把这个想法发出来和大家讨论一下,毕竟我自己也还没有真正把这套架构完整搭起来。有没有什么明显的问题,或者在负载均衡、故障转移、PVE HA、多机 LLM 调度这些方面有经验的,也欢迎大家指正。
                                    1 条回复 最后回复
                                    0
                                    • Wang WeiW Wang Wei

                                      X99主板 + 128G 内存 跑 Strata Qwen 3.8 Flash Next 是目前最有性价比的本地方案,Next明显比27B好用

                                      dewundoneD
                                      dewundoneD
                                      dewundone
                                      体面乡绅
                                      编写于 最后由 dewundone 编辑
                                      #20

                                      @Wang-Wei 我也这么觉得,27B我的几乎可以说经常陷入思考循环,根本停不下来,hermes也是等循环好久才终止。27B经常得很小心写prompt,但是next我就没认真写过,跑的也很顺

                                      1 条回复 最后回复
                                      0
                                      • Y G 0Y Y G 0

                                        @dewundone

                                        去他家官网找说明书,进bios是按del

                                        dewundoneD
                                        dewundoneD
                                        dewundone
                                        体面乡绅
                                        编写于 最后由 编辑
                                        #21

                                        @Y-G-0 感谢(๑•̀ㅂ•́)و✧

                                        1 条回复 最后回复
                                        0
                                        • rometwR
                                          rometwR
                                          rometw
                                          编写于 最后由 编辑
                                          #22

                                          请问一下v100这卡是用cuda什么版本的?

                                          dewundoneD 1 条回复 最后回复
                                          0

                                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                          有了你的建议,这篇帖子会更精彩哦 💗

                                          注册 登录
                                          回复
                                          • 在新帖中回复
                                          登录后回复
                                          • 从旧到新
                                          • 从新到旧
                                          • 最多赞同


                                          • 登录

                                          • 登录或注册以进行搜索。
                                          • 第一个帖子
                                            最后一个帖子
                                          0
                                          • 版块
                                          • 最新
                                          • 标签
                                          • 热门
                                          • 用户
                                          • 群组