跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. RTX5060Ti16G第一次跑Strata+Qwen3.8-Flash-Next-GSQ-RCO-IQ3 体验好丝滑

RTX5060Ti16G第一次跑Strata+Qwen3.8-Flash-Next-GSQ-RCO-IQ3 体验好丝滑

已定时 已固定 已锁定 已移动 LLM讨论区
rtx5060qwen-flashstrata
3 帖子 2 发布者 288 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • J xuJ
    J xuJ
    J xu
    编写于 最后由 编辑
    #1

    首字吞吐(Prefill):1242 tok/s 的极速读入!Prompt Tokens: 39266 tokens(约 4 万 Token)
    耗时: 31s。一口气给它喂了一整部 181KB(约 3 万汉字)的完整小说《无声》,它仅仅花了 31 秒钟,就把整整 4 万 Token 的全部细节彻底消化完毕!
    download.png

    狂飙到了 57.46 t/s(在长达 1.4 万 token 的超长思考链输出下,稳定输出 4 分钟不掉速)。
    download.png

    下面是我的详细硬件配置和模型配置参数!
    e0870aac-e2f5-43ad-8f86-98870d7f0ecf.jpg
    image.jpeg

    下面是strata-iq3_s.json参数

    {
     "exe": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\engine\\strata.exe",
     "args": [
      "--pack",
      "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata-data\\packs\\iq3_s",
      "--native",
      "..\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
      "--ple-gguf",
      "..\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf",
      "--expert-profile",
      "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\data\\expert-profile.bin",
      "--expert-cache",
      "auto",
      "--prefill",
      "auto",
      "--spec",
      "4",
      "--spec-min-p",
      "0.5",
      "--mtp",
      "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata-data\\mtp\\rt",
      "--max-context",
      "65536",
      "--kv",
      "k8v4",
      "--resident-experts",
      "--kv-resident",
      "32768",
      "--vision",
      "--vram-reserve-mib",
      "700",
      "--control-vector-scaled",
      "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Huihui-Qwen3.8-Flash-Next-refusal-direction-r.gguf:1.0",
      "--control-vector-layer-range",
      "4",
      "44",
      "--cvec-mode",
      "project",
      "--cvec-dir",
      "per-layer"
     ],
     "cwd": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata",
     "tokenizer": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata-data\\packs\\iq3_s\\tokenizer",
     "model_name": "qwen3.8-flash-next-iq3_s",
     "log": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\strata-iq3_s.log",
     "lib_dirs": [
      "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\.venv\\Lib\\site-packages\\nvidia\\cu13\\bin\\x86_64"
     ],
     "port": 8080,
     "gpu": 0,
     "gpus_asked": true,
     "vision": {
      "exe": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\engine\\strata-vision.exe",
      "mmproj": "..\\mmproj-Qwen3.8-Flash-Next-BF16.gguf",
      "model": "..\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
      "gpu": true,
      "max_tokens": 1024
     }
    }
    

    我还没对接Agent,下一步准备保持这个速度的同时,先把上下文开大128K。今天就先到这里吧!献丑了,欢迎各位大佬批评指导!

    1 条回复 最后回复
    2
    • H
      H
      hyaska
      编写于 最后由 编辑
      #2

      大哥的配置与我的也相近,就是我只有32G内存,愁啊,到底里去搞2根凑个64G,太贵了

      J xuJ 1 条回复 最后回复
      0
      • H hyaska

        大哥的配置与我的也相近,就是我只有32G内存,愁啊,到底里去搞2根凑个64G,太贵了

        J xuJ
        J xuJ
        J xu
        编写于 最后由 编辑
        #3

        @hyaska 说:

        大哥的配置与我的也相近,就是我只有32G内存,愁啊,到底里去搞2根凑个64G,太贵了

        咬咬牙狠狠心,不然以后会更贵

        1 条回复 最后回复
        0

        你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

        厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

        有了你的建议,这篇帖子会更精彩哦 💗

        注册 登录
        回复
        • 在新帖中回复
        登录后回复
        • 从旧到新
        • 从新到旧
        • 最多赞同


        • 登录

        • 登录或注册以进行搜索。
        • 第一个帖子
          最后一个帖子
        0
        • 版块
        • 最新
        • 标签
        • 热门
        • 用户
        • 群组