跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 【重磅更新】Strata v0.1.39 支持多请求并发,以及更多的老硬件支持

【重磅更新】Strata v0.1.39 支持多请求并发,以及更多的老硬件支持

已定时 已固定 已锁定 已移动 LLM讨论区
strata多卡部署
8 帖子 7 发布者 617 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • perterP
    perterP
    perter
    德高望重 劳动模范
    编写于 最后由 perter 编辑
    #1

    🚀 性能提升(解码 / 长提示 / 多 GPU)

    • 解码速度普遍提升约 5%~7%,多个量化格式收益明显。
    • 长提示处理更快,动态分块机制让 32K 上下文可提升 约 18%。
    • 超长上下文(20 万以上 token)在中端显卡上可提升 约 26%。
    • 多 GPU 性能显著增强:
      • 双 4090:混合文本提升 63%、代码提升 132%
      • 四 3060:提示阶段提升 10%~28%

    🧵 多请求并发(可选)

    • 支持同时解码多条会话(如 4 并发)。
    • 在 12GB 显卡上能减少排队等待,但整体速度会略降(约 -11%)。
    • 单独请求的输出质量保持一致。

    🖥️ 更广硬件支持(实验性)

    NVIDIA 老卡

    • 自动使用 CUDA 12.9 构建的备用引擎,支持 P40、P100、V100、GTX10 系列。

    AMD 老卡

    • 手工构建路径支持 MI50/MI60、Radeon VII、RX 5500 XT 等。

    Intel Arc

    • SYCL 后端可编译,但未在真实 Arc GPU 上测试。

    老 CPU(无 AVX2)

    • 自动编译 AVX-only / SSE4.2 引擎,可运行 i‑quant 模型(速度较慢)。

    📦 RAM / VRAM 行为修复

    • 修复 RAM 预算模式导致的大模型提示变慢问题。
    • 显存不足时更早给出具体缺少数值。
    • 容器内存不足时会直接拒绝并提示,而不是在加载中被杀掉。

    🔌 API / 功能增强

    • 支持 OpenAI Responses API,包括函数调用、工具结果、推理事件等。
    • Web UI 增加模型设置卡片与会话缓存卡片。
    • 新增可选项:effort_position: "end"(仅改变 effort 时复用缓存)。

    🔧 修复与稳定性

    • 修复重复 token 导致的卡死问题(连续重复 256 次自动终止)。
    • 机械硬盘启动时会提示,并将 n‑gram 表放入 RAM 以避免卡顿。
    • 服务器错误参数返回 400,不再断连接;请求体会被完整读取后再响应。
    • 大量社区修复:启动流程、日志、CUDA 工具链选择、配置检查等。

    🧩 总结

    v0.1.39 是一次全面的性能与兼容性升级:更快的解码、更稳的长提示、更强的多 GPU、更广的硬件支持、更智能的内存行为,并加入 Responses API 与大量稳定性修复。

    安装手顺

    • 使用 AI助手安装
      使用 AI 助手(例如 Hermess、 Deepseek harness、Claude Code、Cursor、Codex、GitHub Copilot 等)请将以下内容粘贴到其中:
    Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.
    
    • 手动安装
      下载 Strata压缩包并解压缩(或git clone直接解压)。
      Windows 系统:双击运行START-HERE.bat。
      Linux系统:./setup.sh在 Strata 文件夹中运行。

    • 升级安装
      1.下载升级文件
      https://github.com/Niko1221/Strata/releases#release-v0.1.39
      N卡下载 strata-windows-x64.zip压缩包并解压缩。
      老N卡下载strata-windows-x64-cuda12.zip压缩包并解压缩。
      A卡下载 strata-windows-x64-hip.zip压缩包并解压缩。
      2.覆盖\Strata\engine目录下所有文件完成升级。
      3.Windows 系统:strata目录双击运行START-HERE.bat运行。

    1 条回复 最后回复
    1
    • NY ZhaoN
      NY ZhaoN
      NY Zhao
      编写于 最后由 编辑
      #2

      太牛了,刚升级,确实是快了,而且支持多并发了

      1 条回复 最后回复
      0
      • 懒人烘培懒
        懒人烘培懒
        懒人烘培
        德高望重 劳动模范
        编写于 最后由 编辑
        #3

        Strata更新频率很高,正在快速的成长

        双 7900 XTX:模型本地跑,Token 随便烧!

        1 条回复 最后回复
        0
        • A
          A
          applejuice
          技术大牛 劳动模范
          编写于 最后由 编辑
          #4

          我等大神解决 连续重复 问题...
          看了github 暂时都没有完全解决的方案 都是尝试减少罢了
          已经设置hermes 每天检查有没有人解决

          1 条回复 最后回复
          0
          • stxpnetS
            stxpnetS
            stxpnet
            超凡大师
            编写于 最后由 编辑
            #5

            image.jpeg
            复杂程序还是差点意思,等吧。

            双卡3090 PCIE 4.0 16X/16X

            白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
            夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
            1 条回复 最后回复
            0
            • paul houP
              paul houP
              paul hou
              德高望重 劳动模范
              编写于 最后由 编辑
              #6

              Strata,我只能跑IQ2_XS,連續重覆問題很嚴重,基本上是不能用。

              1 条回复 最后回复
              0
              • perterP
                perterP
                perter
                德高望重 劳动模范
                编写于 最后由 编辑
                #7

                用Qwen3.8-Flash-Next做一个 3D 夜间滑雪游戏,感觉还行。

                用单个 HTML 文件,通过 CDN 引入 Three.js,做一个 3D 夜间滑雪游戏。
                
                画面:
                - 全屏深色夜空背景,有星星和月亮,页面四周不留白边
                - 一条向下无限延伸的雪坡,两侧有路灯照亮雪道,远处有雾气
                - 雪道上随机生成松树、石头、旗门,远处有山的轮廓
                - 第三人称视角,镜头跟在滑雪者身后略高的位置,转弯时镜头有轻微倾斜
                
                玩法:
                - 左右方向键控制转向,上方向键加速,下方向键减速
                - 速度随时间逐渐加快,撞到树或石头就摔倒,游戏结束
                - 从两根旗门之间穿过加 100 分,漏过旗门扣分
                - 左上角显示分数、速度(km/h)和滑行距离,右上角显示最高分
                - 游戏结束后显示成绩,按空格重新开始
                
                细节:
                - 滑雪者用简单的几何体拼出来(身体、头、两根雪杖、两块滑雪板),转弯时身体会倾斜
                - 滑雪板后面留下雪痕,高速时有雪粒飞溅的粒子效果
                - 用 Web Audio API 生成风声,速度越快风声越大,不要使用外部音频文件
                
                只输出完整代码,不要解释。
                

                image.jpeg
                3D 夜间滑雪完整版

                terryT 1 条回复 最后回复
                1
                • perterP perter

                  用Qwen3.8-Flash-Next做一个 3D 夜间滑雪游戏,感觉还行。

                  用单个 HTML 文件,通过 CDN 引入 Three.js,做一个 3D 夜间滑雪游戏。
                  
                  画面:
                  - 全屏深色夜空背景,有星星和月亮,页面四周不留白边
                  - 一条向下无限延伸的雪坡,两侧有路灯照亮雪道,远处有雾气
                  - 雪道上随机生成松树、石头、旗门,远处有山的轮廓
                  - 第三人称视角,镜头跟在滑雪者身后略高的位置,转弯时镜头有轻微倾斜
                  
                  玩法:
                  - 左右方向键控制转向,上方向键加速,下方向键减速
                  - 速度随时间逐渐加快,撞到树或石头就摔倒,游戏结束
                  - 从两根旗门之间穿过加 100 分,漏过旗门扣分
                  - 左上角显示分数、速度(km/h)和滑行距离,右上角显示最高分
                  - 游戏结束后显示成绩,按空格重新开始
                  
                  细节:
                  - 滑雪者用简单的几何体拼出来(身体、头、两根雪杖、两块滑雪板),转弯时身体会倾斜
                  - 滑雪板后面留下雪痕,高速时有雪粒飞溅的粒子效果
                  - 用 Web Audio API 生成风声,速度越快风声越大,不要使用外部音频文件
                  
                  只输出完整代码,不要解释。
                  

                  image.jpeg
                  3D 夜间滑雪完整版

                  terryT
                  terryT
                  terry
                  超级版主
                  编写于 最后由 编辑
                  #8

                  @perter 不错,游戏还真能玩

                  油管:https://www.youtube.com/@抡锤者

                  1 条回复 最后回复
                  0

                  你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                  厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                  有了你的建议,这篇帖子会更精彩哦 💗

                  注册 登录
                  回复
                  • 在新帖中回复
                  登录后回复
                  • 从旧到新
                  • 从新到旧
                  • 最多赞同


                  • 登录

                  • 登录或注册以进行搜索。
                  • 第一个帖子
                    最后一个帖子
                  0
                  • 版块
                  • 最新
                  • 标签
                  • 热门
                  • 用户
                  • 群组