跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 装备秀
  5. 整套洋垃圾Strata機到貨

整套洋垃圾Strata機到貨

已定时 已固定 已锁定 已移动 热议 装备秀
v100x99多卡部署
40 帖子 14 发布者 892 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • gao GaoG gao Gao

    @像素盒子 BD3我昨天刚买,今天退了,2个 x16有问题的,不是c621原生芯片,是魔改的,你如果就用 一根x16 没问题,用两根之间通信会很慢

    像素盒子像
    像素盒子像
    像素盒子
    编写于 最后由 编辑
    #24

    @gao-Gao
    我没有插两个需求先玩玩bd3,插一个显卡,那你准备买哪个?
    我问了下deepseek说
    针对你“双显卡 + DDR3”的需求,X99-8D3 比 X99-TF 更合适。两者显卡插槽规格其实一样,核心差异在内存:8D3 是纯 DDR3 且容量更大,TF 是混插但 DDR3 限制多。

    核心差异对比

    内存(决定性区别)

    · X99-8D3:8 条全是 DDR3 插槽,最大支持 256GB,可上便宜的服务器 RECC 内存。
    · X99-TF:4 条 DDR3 + 4 条 DDR4,最大仅 128GB,严禁混插,且 DDR3 模式只支持特定 V3 处理器。

    显卡插槽(两者相同)

    · 官方规格都是 2 个 PCIe 3.0 x16 + 1 个 x4。有用户实测 TF 双卡可跑 x16,无需担心 8D3 的显卡带宽缩水。

    板型与供电

    · X99-8D3:E-ATX 大板,供电标注 8+8 相(有说法称实际 6+6)。
    · X99-TF:标准 ATX,10 层 PCB,6 相供电。

    选购建议

    要 128G 以上的 DDR3 且插双卡,直接选 X99-8D3。TF 的 DDR3 最大只有 128G,且对 CPU 型号有硬性限制,折腾成本更高。8D3 的纯 DDR3 设计正好契合你“洋垃圾服务器内存”的性价比路线。

    提醒一下:X99 平台本身不支持显卡间 P2P 直连,如果你组双卡是为了 AI 计算或特定多卡协作,这点需要提前知晓。

    dardeaw fengD 1 条回复 最后回复
    0
    • 像素盒子像 像素盒子

      @gao-Gao
      我没有插两个需求先玩玩bd3,插一个显卡,那你准备买哪个?
      我问了下deepseek说
      针对你“双显卡 + DDR3”的需求,X99-8D3 比 X99-TF 更合适。两者显卡插槽规格其实一样,核心差异在内存:8D3 是纯 DDR3 且容量更大,TF 是混插但 DDR3 限制多。

      核心差异对比

      内存(决定性区别)

      · X99-8D3:8 条全是 DDR3 插槽,最大支持 256GB,可上便宜的服务器 RECC 内存。
      · X99-TF:4 条 DDR3 + 4 条 DDR4,最大仅 128GB,严禁混插,且 DDR3 模式只支持特定 V3 处理器。

      显卡插槽(两者相同)

      · 官方规格都是 2 个 PCIe 3.0 x16 + 1 个 x4。有用户实测 TF 双卡可跑 x16,无需担心 8D3 的显卡带宽缩水。

      板型与供电

      · X99-8D3:E-ATX 大板,供电标注 8+8 相(有说法称实际 6+6)。
      · X99-TF:标准 ATX,10 层 PCB,6 相供电。

      选购建议

      要 128G 以上的 DDR3 且插双卡,直接选 X99-8D3。TF 的 DDR3 最大只有 128G,且对 CPU 型号有硬性限制,折腾成本更高。8D3 的纯 DDR3 设计正好契合你“洋垃圾服务器内存”的性价比路线。

      提醒一下:X99 平台本身不支持显卡间 P2P 直连,如果你组双卡是为了 AI 计算或特定多卡协作,这点需要提前知晓。

      dardeaw fengD
      dardeaw fengD
      dardeaw feng
      硕果累累 贵族大夫
      编写于 最后由 编辑
      #25

      @像素盒子 請問X4的顯卡好找嗎 我發現x99最大的短版是沒有核顯,調BIOS時還勢必要有亮機卡方案

      1 条回复 最后回复
      0
      • terryT terry

        弟,这套我已经有了,CD3是双通道内存,残疾。我要买的是四通道的。

        rongda wengR
        rongda wengR
        rongda weng
        编写于 最后由 编辑
        #26

        @terry 我刚去确认下 AD3 是4通道,已下单😊

        terryT 像素盒子像 2 条回复 最后回复
        0
        • rongda wengR rongda weng

          @terry 我刚去确认下 AD3 是4通道,已下单😊

          terryT
          terryT
          terry
          易有太极
          编写于 最后由 编辑
          #27

          @rongda-weng 买TF,不要买AD3,别省这点钱。

          油管:https://www.youtube.com/@抡锤者

          rongda wengR dardeaw fengD 2 条回复 最后回复
          0
          • rongda wengR rongda weng

            @terry 我刚去确认下 AD3 是4通道,已下单😊

            像素盒子像
            像素盒子像
            像素盒子
            编写于 最后由 编辑
            #28

            @rongda-weng 说:

            @terry 我刚去确认下 AD3 是4通道,已下单😊

            省錢單卡買bd3,已下單

            1 条回复 最后回复
            0
            • terryT terry

              @rongda-weng 买TF,不要买AD3,别省这点钱。

              rongda wengR
              rongda wengR
              rongda weng
              编写于 最后由 编辑
              #29

              @terry 火速退款,加了80块 换了TF

              terryT 1 条回复 最后回复
              0
              • rongda wengR rongda weng

                @terry 火速退款,加了80块 换了TF

                terryT
                terryT
                terry
                易有太极
                编写于 最后由 编辑
                #30

                @rongda-weng 对的,我今天测试了内存条,很好,比我上次买的还好,32G的马甲条,品质很好,脚本测试也通过了。玩游戏体验也不错。测试几天再说吧。你说省着点钱干嘛,我过几天有空再测试TF。现在用的CD3,现成的 平台测试的。

                油管:https://www.youtube.com/@抡锤者

                像素盒子像 1 条回复 最后回复
                0
                • terryT terry

                  @rongda-weng 对的,我今天测试了内存条,很好,比我上次买的还好,32G的马甲条,品质很好,脚本测试也通过了。玩游戏体验也不错。测试几天再说吧。你说省着点钱干嘛,我过几天有空再测试TF。现在用的CD3,现成的 平台测试的。

                  像素盒子像
                  像素盒子像
                  像素盒子
                  编写于 最后由 编辑
                  #31

                  @terry 你买的条子成色怎么样?
                  今天老板发货前和我确认,我看着有个黑黑的,所以让他给换了一个,应该和你同一个店家买的😊
                  IMG_3430.jpeg

                  1 条回复 最后回复
                  0
                  • terryT
                    terryT
                    terry
                    易有太极
                    编写于 最后由 编辑
                    #32

                    差不多,不过我的比这个新多了,你这特么的比我上次买的还旧。

                    image.jpeg

                    质量杠杠的,通过了脚本测试。

                    油管:https://www.youtube.com/@抡锤者

                    像素盒子像 1 条回复 最后回复
                    0
                    • terryT terry

                      差不多,不过我的比这个新多了,你这特么的比我上次买的还旧。

                      image.jpeg

                      质量杠杠的,通过了脚本测试。

                      像素盒子像
                      像素盒子像
                      像素盒子
                      编写于 最后由 编辑
                      #33

                      @terry 你的真的很好👍哎~😑等回来看看吧

                      1 条回复 最后回复
                      0
                      • terryT terry

                        @rongda-weng 买TF,不要买AD3,别省这点钱。

                        dardeaw fengD
                        dardeaw fengD
                        dardeaw feng
                        硕果累累 贵族大夫
                        编写于 最后由 编辑
                        #34

                        @terry TF的四根DDR4條位老特該怎麼處理?會去等未來嗎? 還是當擺設

                        terryT 1 条回复 最后回复
                        0
                        • dardeaw fengD
                          dardeaw fengD
                          dardeaw feng
                          硕果累累 贵族大夫
                          编写于 最后由 dardeaw feng 编辑
                          #35

                          先報告簡單實測 還沒有經過調優

                          項目 狀態
                          CUDA 12.8.93(ubuntu2404 repo)+ g++-14 完成(下載 3.7GB / 安裝 8.8GB)
                          Strata v0.1.44.1 + llama.cpp pin 3cf0325 完成
                          模型 Qwen3.8-Flash-Next IQ3_S(54.8G+28.8G+mmproj 0.9G) 完成
                          MTP 草稿頭(4.9G,SHA256 verify 全通過) 完成
                          sm_70 引擎編譯(含 glibc 2.43 標頭 patch) 完成
                          雙卡 layer split(0-23 / 24-47)+ 262144 ctx + int8 KV 完成
                          systemd 開機自啟 strata.service active + enabled
                          實測 decode 86.0 tok/s(512 tokens,MTP 接受率 77%)、冷啟動 69.6 tok/s

                          重要注意

                          1. STRATA_SM70_TABLE=1 已寫入 service(Volta 專用,+10~15% decode)。
                          2. NVLink 兩卡皆 inactive,走 PCIe;expert cache 命中 95-96%,影響很小。

                          實測 prefill(冷啟動、無 prefix 快取):

                          階段 實際 tokens TTFT 預填速度
                          10k 10,006 11.8 s 850 tok/s
                          20k 19,996 16.9 s 1,181 tok/s
                          50k 50,003 35.2 s 1,421 tok/s
                          100k 99,993 69.3 s 1,444 tok/s
                          150k 150,001 105.9 s 1,416 tok/s
                          200k 199,971 146.7 s 1,363 tok/s
                          • 對照官方 README:RTX 5070 單卡 IQ3_S 32k prompt = 1,620 tok/s——這台雙 V100 長上下文預填跟一張 5070 大致同級。
                          1 条回复 最后回复
                          0
                          • gao GaoG
                            gao GaoG
                            gao Gao
                            编写于 最后由 编辑
                            #36

                            @dardeaw-feng 双卡V100 我看和 3090 24G 已经差不多了,确实有性价比

                            1 条回复 最后回复
                            0
                            • Tzung-Ru TsaiT
                              Tzung-Ru TsaiT
                              Tzung-Ru Tsai
                              编写于 最后由 编辑
                              #37

                              V100雙卡還有一種是外接顯卡塢的,噪音應該比渦輪扇低,但是價格普遍接近四千大關,成本面就遠不如渦輪雙卡香了

                              dardeaw fengD 1 条回复 最后回复
                              0
                              • Tzung-Ru TsaiT Tzung-Ru Tsai

                                V100雙卡還有一種是外接顯卡塢的,噪音應該比渦輪扇低,但是價格普遍接近四千大關,成本面就遠不如渦輪雙卡香了

                                dardeaw fengD
                                dardeaw fengD
                                dardeaw feng
                                硕果累累 贵族大夫
                                编写于 最后由 编辑
                                #38

                                @Tzung-Ru-Tsai 说:

                                V100雙卡還有一種是外接顯卡塢的,噪音應該比渦輪扇低,但是價格普遍接近四千大關,成本面就遠不如渦輪雙卡香了

                                我都用礦電了 我沒在怕吵的 單純是買個玩具

                                1 条回复 最后回复
                                0
                                • dardeaw fengD dardeaw feng

                                  @terry TF的四根DDR4條位老特該怎麼處理?會去等未來嗎? 還是當擺設

                                  terryT
                                  terryT
                                  terry
                                  易有太极
                                  编写于 最后由 编辑
                                  #39

                                  @dardeaw-feng 就这几百块的主板我还要等未来????

                                  油管:https://www.youtube.com/@抡锤者

                                  1 条回复 最后回复
                                  0
                                  • dardeaw fengD
                                    dardeaw fengD
                                    dardeaw feng
                                    硕果累累 贵族大夫
                                    编写于 最后由 编辑
                                    #40

                                    剛剛動手優化了 強了一大截 垃圾變身黃金

                                    1. 調優方法

                                    變更 原值 新值 貢獻(50k prefill 實測)
                                    --prefill auto(=8192 chunk) auto:16384 +25%(最大功臣)
                                    --trim-stage-weights + 手動 --layer-split 24 auto(K=23,兩卡載全部 dense weights) 每卡只載自己 24 層的 dense weights,VRAM 讓給 expert cache(4807→5614 slots) +12%
                                    --pipeline-windows 2 關(CUDA 預設關) 開(stage0 讀下一 window 時 stage1 在 verify) prefill ~0%,主要幫 decode 重疊

                                    出處:#3703(手動 split + trim 贏 auto)、#3648/#3724(16384 chunk、pipeline-windows 的雙卡實測配置)。已寫進 /home/itadmin/strata/strata-iq3_s.json 並重啟生效。

                                    2. Decode 速度(thinking off,512 max,median)

                                    prompt 調優前 調優後 Δ
                                    essay 66.6 73.5 +10%
                                    code 57.3 77.9 +36%
                                    translate 65.9 79.6 +21%
                                    explain 67.2 78.1 +16%

                                    (decode 的增益來自 trim 釋放的 expert slots 提高 hit rate + pipeline 重疊)

                                    3. Prefill 階梯到 200k(冷預填,TTFT 測法)

                                    階段 調優前 調優後 Δ
                                    10k 850 1181 +39%
                                    20k 1181 1251 +6%
                                    50k 1421 1876 +32%
                                    100k 1444 1884 +30%
                                    150k 1416 1792 +26%
                                    200k 1363 1666 +22%

                                    200k 預填從 147s 縮到 120s。200k 端增幅較小是 int8 KV 超過 kv-resident 32768 後走 RAM/PCIe 的瓶頸,與調優無關。

                                    1 条回复 最后回复
                                    1
                                    • ,dardeaw fengD dardeaw feng 引用了 此主题

                                    你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                                    厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                                    有了你的建议,这篇帖子会更精彩哦 💗

                                    注册 登录
                                    回复
                                    • 在新帖中回复
                                    登录后回复
                                    • 从旧到新
                                    • 从新到旧
                                    • 最多赞同


                                    • 登录

                                    • 登录或注册以进行搜索。
                                    • 第一个帖子
                                      最后一个帖子
                                    0
                                    • 版块
                                    • 最新
                                    • 标签
                                    • 热门
                                    • 用户
                                    • 群组