跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 双RTX 3090 + 256G内存 测试QWEN 3.8 FLASH NEXT

双RTX 3090 + 256G内存 测试QWEN 3.8 FLASH NEXT

已定时 已固定 已锁定 已移动 LLM讨论区
rtx3090多卡部署qwen-flash
4 帖子 2 发布者 327 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • stxpnetS
    stxpnetS
    stxpnet
    超凡大师
    编写于 最后由 stxpnet 编辑
    #1
    - CPU:AMD EPYC 7B13(米兰 Zen3,64核128线程,2.25/3.5GHz,谷歌定制U)
    - 主板:技嘉 MZ32-AR0(E-ATX,SP3,4×PCIe 4.0 x16)
    - BIOS:M31(2026-01-16,原生支持 Milan)
    - 内存:16×16GB DDR4 ECC RDIMM(镁光,共256GB,8通道满插2DPC,实跑2133 MT/s)
      实测约83G/S 速率.
    - 显卡:2×RTX 3090 24G(驱动 615.71.09,开源内核模块+P2P补丁)无nvlink CPU可支持128通道(已为未来另外两张卡预留通道)
    - 散热:金钱豹 M98PRO 双塔(6热管双滚珠双扇,SP3)
    - 电源:长城 2600W 黑匣子
    - 形态:开放式矿架(主板平放下层 + 双卡Gen4延长线上层)
    - 系统:Ubuntu 26.04 LTS(内核 7.0.0-30)
    

    刚升级主板和CPU,最想测试的莫过于这个模型了。
    image.jpeg

    权重就要129G的,框架是glm 5.3 flash按作者主页下载的镜像. 按作者的建议,配置了64GB的NVME SWAP。(这张NVME盘性能不行,如果换4.0 3500MB/S的NVME效果还会好点)
    {D5403481-2A87-49F3-B494-0F30446664BC}.jpeg

    (显卡在旧平台上面,外置那张开机,推理调用多了电源接口会爆灯,原因不明。到了新平台目前单卡限制230W,防止尖峰时电源无法稳定供给导致显卡供电接口爆红灯)
    目测温度比3.8 27B高多了,可能不会当作 日常主力。(也不想跑完整的tool-eval测试)
    {008DCAFB-0155-4EAF-B5E6-6F9AC50C1D72}.jpeg

    image.jpeg
    内存要吃128G.(可能利益于富裕的总内存,交换文件并未被使用)

    让hermes调用写骑自行车的html(这次nvtop温度较为正常了,平均60度上下)
    image.jpeg

    效果比之前测的qwen 3.8 27B要好。
    image.jpeg

    image.jpeg

    这里显示的也并非真实速度,目测平均速度在50-60t/s 以上,日常 使用已经足够了,但未达到作者所说的100t/s。
    {CAA15C59-1880-45F0-85FC-ACC52D3559CC}.jpeg

    下面离线测试模型的文学能力(题目是四大名著里面随机的,所以模型没得作弊,
    以前测试过QWEN 3.6,感觉它们会取巧,老是选择它们自己熟悉的章节。 如果先让它选两个随机数,可以防止它们作弊) :

    {67F49F63-73DA-411D-946B-669F9426262B}.jpeg

    生成题目用了144秒。 把生成结果复制给智谱清言让它判分:
    image.jpeg

    最后测试多风格俄罗斯方块HTML游戏:
    image.jpeg

    最小思考12分钟无错生成,比QWEN 3.8 27B强一些,但是没有什么亮点。

    总体来说,让我意外的:
    qwen 3.8 flash next对CPU的需求似乎不高,但对主板双卡之间的连接性要求较高。跑满各自的带宽才能发挥显卡的最大价值。

    双卡3090 PCIE 4.0 16X/16X

    白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
    夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
    johnnybegoodJ 1 条回复 最后回复
    4
    • stxpnetS stxpnet
      - CPU:AMD EPYC 7B13(米兰 Zen3,64核128线程,2.25/3.5GHz,谷歌定制U)
      - 主板:技嘉 MZ32-AR0(E-ATX,SP3,4×PCIe 4.0 x16)
      - BIOS:M31(2026-01-16,原生支持 Milan)
      - 内存:16×16GB DDR4 ECC RDIMM(镁光,共256GB,8通道满插2DPC,实跑2133 MT/s)
        实测约83G/S 速率.
      - 显卡:2×RTX 3090 24G(驱动 615.71.09,开源内核模块+P2P补丁)无nvlink CPU可支持128通道(已为未来另外两张卡预留通道)
      - 散热:金钱豹 M98PRO 双塔(6热管双滚珠双扇,SP3)
      - 电源:长城 2600W 黑匣子
      - 形态:开放式矿架(主板平放下层 + 双卡Gen4延长线上层)
      - 系统:Ubuntu 26.04 LTS(内核 7.0.0-30)
      

      刚升级主板和CPU,最想测试的莫过于这个模型了。
      image.jpeg

      权重就要129G的,框架是glm 5.3 flash按作者主页下载的镜像. 按作者的建议,配置了64GB的NVME SWAP。(这张NVME盘性能不行,如果换4.0 3500MB/S的NVME效果还会好点)
      {D5403481-2A87-49F3-B494-0F30446664BC}.jpeg

      (显卡在旧平台上面,外置那张开机,推理调用多了电源接口会爆灯,原因不明。到了新平台目前单卡限制230W,防止尖峰时电源无法稳定供给导致显卡供电接口爆红灯)
      目测温度比3.8 27B高多了,可能不会当作 日常主力。(也不想跑完整的tool-eval测试)
      {008DCAFB-0155-4EAF-B5E6-6F9AC50C1D72}.jpeg

      image.jpeg
      内存要吃128G.(可能利益于富裕的总内存,交换文件并未被使用)

      让hermes调用写骑自行车的html(这次nvtop温度较为正常了,平均60度上下)
      image.jpeg

      效果比之前测的qwen 3.8 27B要好。
      image.jpeg

      image.jpeg

      这里显示的也并非真实速度,目测平均速度在50-60t/s 以上,日常 使用已经足够了,但未达到作者所说的100t/s。
      {CAA15C59-1880-45F0-85FC-ACC52D3559CC}.jpeg

      下面离线测试模型的文学能力(题目是四大名著里面随机的,所以模型没得作弊,
      以前测试过QWEN 3.6,感觉它们会取巧,老是选择它们自己熟悉的章节。 如果先让它选两个随机数,可以防止它们作弊) :

      {67F49F63-73DA-411D-946B-669F9426262B}.jpeg

      生成题目用了144秒。 把生成结果复制给智谱清言让它判分:
      image.jpeg

      最后测试多风格俄罗斯方块HTML游戏:
      image.jpeg

      最小思考12分钟无错生成,比QWEN 3.8 27B强一些,但是没有什么亮点。

      总体来说,让我意外的:
      qwen 3.8 flash next对CPU的需求似乎不高,但对主板双卡之间的连接性要求较高。跑满各自的带宽才能发挥显卡的最大价值。

      johnnybegoodJ
      johnnybegoodJ
      johnnybegood
      超凡大师
      编写于 最后由 编辑
      #2

      @stxpnet 能不能帮我复测一下这个,想看看你的结果: https://lcz.me/topic/1945/31 ?

      stxpnetS 1 条回复 最后回复
      0
      • stxpnetS
        stxpnetS
        stxpnet
        超凡大师
        编写于 最后由 stxpnet 编辑
        #3

        让hermes来写火山喷发的HTML 试试.

        Volcano Eruption Through a Transparent Mountain (Geology + Heat Transfer)
        
        In HTML, Create a transparent volcanic mountain showing underground magma chambers. The simulation starts as pressure builds beneath the volcano until an eruption occurs.
        
        The simulation must include:
        
        Magma pressure increasing based on depth and trapped gas expansion
        
        Rock layers cracking and deforming before eruption
        
        Lava flowing downhill with viscosity depending on temperature
        
        Ash clouds rising through buoyancy and atmospheric drag
        
        Rocks being launched with realistic projectile motion
        
        Cooling lava gradually changing from liquid to solid
        
        Steam explosions when lava contacts underground water
        
        Trees and structures reacting to heat radiation and shock waves
        
        Different lava compositions producing different flow speeds
        
        The user being able to adjust magma temperature and gas pressure before eruption
        

        这上火山测试我感觉它至少做了45分钟,中途修修补补,最终结果也只能算中规中矩,我个人给85分吧。实际上它出的效果比我试过的其它QWEN 3.8 27B都要好。
        image.jpeg

        双卡3090 PCIE 4.0 16X/16X

        白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
        夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
        1 条回复 最后回复
        0
        • ,terryT terry 固定了此主题
        • ,terryT terry 将此主题从 AI硬件 移至此处
        • johnnybegoodJ johnnybegood

          @stxpnet 能不能帮我复测一下这个,想看看你的结果: https://lcz.me/topic/1945/31 ?

          stxpnetS
          stxpnetS
          stxpnet
          超凡大师
          编写于 最后由 编辑
          #4

          @johnnybegood 晚点测一下别的项目看看,我感觉开思考实在太慢了,下次关掉思考测一下benchlocal还有那个zxbench.

          双卡3090 PCIE 4.0 16X/16X

          白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
          夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
          1 条回复 最后回复
          0
          • ,系统 取消固定了此主题

          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

          有了你的建议,这篇帖子会更精彩哦 💗

          注册 登录
          回复
          • 在新帖中回复
          登录后回复
          • 从旧到新
          • 从新到旧
          • 最多赞同


          • 登录

          • 登录或注册以进行搜索。
          • 第一个帖子
            最后一个帖子
          0
          • 版块
          • 最新
          • 标签
          • 热门
          • 用户
          • 群组