跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 寻找QFN长上下文的甜点位测试

寻找QFN长上下文的甜点位测试

已定时 已固定 已锁定 已移动 LLM讨论区
qwenrtx3080多卡部署
4 帖子 3 发布者 270 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • N
    N
    neo
    体面乡绅 硕果累累
    编写于 最后由 neo 编辑
    #1

    结论

    保守可用512K,考虑到一般agent 0.8的压缩阈值,高一点可用640K。


    测试环境

    模型:Qwen3.8-Flash-Next IQ3_S GGUF
    推理引擎:Strata 0.2.14
    GPU:2× RTX 3080 20GB
    平台:X99-T8/E5-2686v4/D3-256G
    KV Cache:INT8
    推理模式:temperature=0,thinking off,单实例串行
    256K 使用原生 RoPE;512K~1M 使用 YaRN


    测试方法

    构造运营台账、值班日志和会议纪要组成的长文档,包含数千条同构记录。

    在文档 2%~98% 的随机位置插入 8 条目标记录,每条目标均配有近似干扰记录,包括批次号相近、客户相同、日期相同等情况。

    每份文档进行单独提问和联合提取测试,分别考察单针检索与多针召回能力。


    主要结果

    在干净构造(目标记录唯一)下:

    上下文 逐条单问 联合 K=8
    256K 100% 100%
    512K 87.5% 100%
    576K 87.5% 87.5%
    640K 70.8% 100%
    1M 62.5% 100%

    一个有趣的现象是:联合提取 8 条信息,有时反而比逐条询问更准确。640K 下,逐条单问为 70.8%,而联合 K=8 达到 100%。

    无标题1.jpeg

    近似干扰测试

    当目标记录存在同批次、相似日期和邻近批次号等干扰时,准确率明显下降:

    上下文 易混单问 易混联合 K=8
    256K 50% 37.5%
    512K 75% 50%
    1M 87.5% 62.5%

    这表明,模型面临的挑战不仅是能否找到远距离信息,更重要的是能否区分高度相似的记录,并确保多个字段来自同一条记录。

    无标题2.jpeg

    Prefill 性能

    文档长度 冷读时间 冷读吞吐 缓存后单问
    250K 60.6s 4,166 tok/s 0.9s
    500K 136.5s 3,692 tok/s 1.3s
    576K 161.8s 3,584 tok/s 1.4s
    640K 184.8s 3,487 tok/s 1.4s
    980K 325.0s 3,033 tok/s 2.2s

    无标题3.jpeg

    屏幕截图 2026-11-16 223809.jpeg

    1 条回复 最后回复
    1
    • ikumI
      ikumI
      ikum
      硕果累累
      编写于 最后由 编辑
      #2

      256k很合适了

      1 条回复 最后回复
      0
      • kos orK
        kos orK
        kos or
        至尊皇帝
        编写于 最后由 编辑
        #3

        如果能有專門做 compaction 上下文壓縮的第二顆模型就好了
        下一個prompt 直接帶壓縮後的new KV cache prefix reuse
        使用上應該會非常流暢

        N 1 条回复 最后回复
        0
        • kos orK kos or

          如果能有專門做 compaction 上下文壓縮的第二顆模型就好了
          下一個prompt 直接帶壓縮後的new KV cache prefix reuse
          使用上應該會非常流暢

          N
          N
          neo
          体面乡绅 硕果累累
          编写于 最后由 编辑
          #4

          @kos-or 之前分析dsh的代码,看到官方上下文压缩插件中已经搭好了异步压缩的框架,但还没有具体实现。后面应该会有的了。

          1 条回复 最后回复
          0

          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

          有了你的建议,这篇帖子会更精彩哦 💗

          注册 登录
          回复
          • 在新帖中回复
          登录后回复
          • 从旧到新
          • 从新到旧
          • 最多赞同


          • 登录

          • 登录或注册以进行搜索。
          • 第一个帖子
            最后一个帖子
          0
          • 版块
          • 最新
          • 标签
          • 热门
          • 用户
          • 群组