跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

  1. 主页
  2. LLM讨论区
  3. 搞机Nvidia DGX Spark(128G 4T),累

搞机Nvidia DGX Spark(128G 4T),累

已定时 已固定 已锁定 已移动 LLM讨论区
22 帖子 8 发布者 313 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • TideT Tide

    我本地部署模型是在物理机安装的Ubuntu server,一直很稳定。就是hermes和webui是安装在wsl2里面,各种问题让人崩溃。

    terryT 在线
    terryT 在线
    terry
    编写于 最后由 编辑
    #10

    @Tide win本来就bug多,热切效率也不高。

    1 条回复 最后回复
    0
    • TideT Tide

      @terry 在hermes命令行里打拼音看不到选字,可能输入法有问题。我也是在搞webui。今天讲hermes。。。👍 👍 👍

      L 离线
      L 离线
      linax777
      编写于 最后由 编辑
      #11

      @Tide 沒辦法選字是 terminal app 的問題吧。多試試不同的 terminal app

      TideT 1 条回复 最后回复
      0
      • terryT terry

        @Jonathan 你梯子这么简单的事不会搞吗,问豆包和gemini,走v2ray。

        J 离线
        J 离线
        Jonathan
        编写于 最后由 编辑
        #12

        @terry 好吧,本来想偷懒,我以前在自己的VPS上装过x-ui面板,不难,就是烦。看来还是绕不过去阿,既然这样的话,还是老实去装个梯子先。谢谢特老板!

        terryT 1 条回复 最后回复
        0
        • J Jonathan

          @terry 好吧,本来想偷懒,我以前在自己的VPS上装过x-ui面板,不难,就是烦。看来还是绕不过去阿,既然这样的话,还是老实去装个梯子先。谢谢特老板!

          terryT 在线
          terryT 在线
          terry
          编写于 最后由 编辑
          #13

          @Jonathan 你买VPN肯定没有用亚马逊主机稳定的,有很多AI会禁止你访问。xui是正解,躲在cloudflare后面即可。一个人用,也便宜,流量足够。

          B 1 条回复 最后回复
          0
          • terryT terry

            @Jonathan 你买VPN肯定没有用亚马逊主机稳定的,有很多AI会禁止你访问。xui是正解,躲在cloudflare后面即可。一个人用,也便宜,流量足够。

            B 离线
            B 离线
            bef
            编写于 最后由 编辑
            #14

            @terry 請教terry兄:Brave API費用高,亞馬遜VPS用作爬蟲穩定嗎?阿里雲/騰訊雲VPS很容易被擋 (禁止訪問)

            謝謝

            terryT 1 条回复 最后回复
            0
            • L linax777

              @Tide 沒辦法選字是 terminal app 的問題吧。多試試不同的 terminal app

              TideT 离线
              TideT 离线
              Tide
              编写于 最后由 编辑
              #15

              @linax777 有可能,最近老是出现状况。

              1 条回复 最后回复
              0
              • TideT Tide

                @terry 在hermes命令行里打拼音看不到选字,可能输入法有问题。我也是在搞webui。今天讲hermes。。。👍 👍 👍

                benton yiB 离线
                benton yiB 离线
                benton yi
                编写于 最后由 编辑
                #16

                @Tide 如果是ubuntu系统,没法选字的情况是在hermes提出危险命令预警,让你选择是否执行之后原生终端会死锁。解决办法是你直接用hermes --yolo运行。

                TideT 1 条回复 最后回复
                0
                • B bef

                  @terry 請教terry兄:Brave API費用高,亞馬遜VPS用作爬蟲穩定嗎?阿里雲/騰訊雲VPS很容易被擋 (禁止訪問)

                  謝謝

                  terryT 在线
                  terryT 在线
                  terry
                  编写于 最后由 编辑
                  #17

                  @bef 我用谷歌,便宜的很,没研究。

                  1 条回复 最后回复
                  0
                  • Kk HhK 离线
                    Kk HhK 离线
                    Kk Hh
                    编写于 最后由 Kk Hh 编辑
                    #18

                    6486fd49-eeb5-44bd-b26b-daa796db8206-image.jpeg
                    没搞懂,你们想干嘛,反正也是 DGX Spark 技嘉版本的

                    terryT 1 条回复 最后回复
                    0
                    • Kk HhK Kk Hh

                      6486fd49-eeb5-44bd-b26b-daa796db8206-image.jpeg
                      没搞懂,你们想干嘛,反正也是 DGX Spark 技嘉版本的

                      terryT 在线
                      terryT 在线
                      terry
                      编写于 最后由 编辑
                      #19

                      @Kk-Hh 挺好,有图有真相。

                      1 条回复 最后回复
                      0
                      • benton yiB benton yi

                        @Tide 如果是ubuntu系统,没法选字的情况是在hermes提出危险命令预警,让你选择是否执行之后原生终端会死锁。解决办法是你直接用hermes --yolo运行。

                        TideT 离线
                        TideT 离线
                        Tide
                        编写于 最后由 编辑
                        #20

                        @benton-yi 👍 好的,谢谢哥们。

                        1 条回复 最后回复
                        0
                        • Crosby_openclawC 离线
                          Crosby_openclawC 离线
                          Crosby_openclaw
                          编写于 最后由 编辑
                          #21

                          剛折騰完nvidia thor128g
                          ollama在此環境不太友善
                          升級jetson 7.1之後,跑llama.cpp
                          使用nvfp4模型,跑起來飛快
                          大概比q4量化的快30%
                          測試完了
                          qwen3.6:35b moe約50 token/s
                          qwen3.6:27b dense約12 token/s
                          llama.cpp跑nvfp4還是比較適合這個平台
                          比起ollama int4量化同模型,快了30%左右

                          之前ollama
                          qwen3.6:35b q4約35token/s
                          qwen3.6:27b q4約 9token/s

                          nvidia社群是說 nvfp4比mxfp4更適合在這台跑

                          目前順跑hermes串whatsapp

                          terryT 1 条回复 最后回复
                          0
                          • Crosby_openclawC Crosby_openclaw

                            剛折騰完nvidia thor128g
                            ollama在此環境不太友善
                            升級jetson 7.1之後,跑llama.cpp
                            使用nvfp4模型,跑起來飛快
                            大概比q4量化的快30%
                            測試完了
                            qwen3.6:35b moe約50 token/s
                            qwen3.6:27b dense約12 token/s
                            llama.cpp跑nvfp4還是比較適合這個平台
                            比起ollama int4量化同模型,快了30%左右

                            之前ollama
                            qwen3.6:35b q4約35token/s
                            qwen3.6:27b q4約 9token/s

                            nvidia社群是說 nvfp4比mxfp4更適合在這台跑

                            目前順跑hermes串whatsapp

                            terryT 在线
                            terryT 在线
                            terry
                            编写于 最后由 编辑
                            #22

                            @Crosby_openclaw 没啥鸟用,推理的时候差距微乎其微,NVFP4主要是模型权重量化,专家权重,这一块就算是DeepSeek,也能换成INT4权重,真正推理部分用FP8。有的模型选FP4模型它反量化到BF16计算,更慢。DGX的算力就那样,带宽也不足。

                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 没有帐号? 注册

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组