跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 本地 Coding Agent 实测:NInfer 96K 已经很好用,KVMem 150K 我暂时先放弃了 5060ti 16g +32g内存 实测

本地 Coding Agent 实测:NInfer 96K 已经很好用,KVMem 150K 我暂时先放弃了 5060ti 16g +32g内存 实测

已定时 已固定 已锁定 已移动 LLM讨论区
ninferrtx5060本地模型
5 帖子 3 发布者 331 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • focuser liF
    focuser liF
    focuser li
    编写于 最后由 terry 编辑
    #1

    本地 Coding Agent 实测:96K 已经能干活,150K 还需要观察

    我现在的选择:继续用 NInfer 96K,暂时停掉 KVMem 150K。
    对 Coding Agent 来说,真正重要的是连续开发几个小时以后,还能不能把项目正确做完。

    01 · NInfer 96K:已经是我愿意长期用的方案

    我之前用 96K 跑过一次比较完整的长程项目。不是简单写几个函数,而是接手一个现有项目,完成真实的 Brownfield 全栈任务。

    从 Domain、API、SQLite、前端,一路做到测试、浏览器 E2E、Vision 检查和最终报告。

    一次 4 小时的完整开发

    项目 实测记录
    任务类型 Brownfield:接手现有项目,完成全栈业务闭环
    运行时长 4 小时 02 分
    Agent steps 约 293 个
    Cumulative tokens 约 16.5M
    Context compaction 8 次
    Domain / API 测试 通过
    Build PASS
    完整 E2E 40/40,连续两轮 PASS

    中间当然也踩过坑:Google Fonts、Playwright、React UI race、Vision timeout、端口残留……

    但重要的是:Agent 没有因为跑得久、压缩了 8 次上下文,就把整个项目做崩。

    到最后,它仍然能分清:

    • 当前业务链推进到哪里,哪些文件已经修改;
    • 哪些测试已经通过,哪些问题还需要处理;
    • 哪些是业务 bug,哪些只是测试 race condition。

    最终,它把整个项目做完了。

    我对 compaction 的看法变了

    以前我把 compaction 当缺点。现在反而觉得,它可能是 Coding Agent 的一种 “工作记忆整理机制”。

    旧代码、旧错误、旧 tool output,以及已经失效的中间状态,会被定期压缩掉。留下来的信息,反而更接近当前真正需要的内容。

    适度整理上下文,可能比一直保留所有历史更有用。


    02 · 再跑一次 Greenfield:从空目录开始验证

    为了排除“之前那个项目本身已经有基础”的影响,我又建了一个完全空白的目录,只给 Agent 一份需求文件。

    这次是真正的 Greenfield 从零开发。

    维度 任务要求
    起点 空白目录 + 一份需求文件
    前端 React 19 + Vite + Ant Design + ECharts
    后端 Node API + SQLite
    业务闭环 岗位 → 任务 → 能力 → 课程 → 学习证据 → Rubric → 评价 → 修订 → 学生画像

    目前这轮 96K 的表现让我更满意。大约 50 分钟左右,已经推进到:

    检查项 当时的进度 / 结果
    SQLite 完成
    Domain 完成
    API 完成
    前端 基本完成
    Build PASS
    完整 E2E 32/32 checks × 2,连续两轮 PASS
    生成速度 约 70 tok/s
    Cache hit 约 97%

    即使已经发生 context compaction,项目推进仍然比较稳定。到目前为止,没有明显出现这种严重的状态漂移:

    “我记得文件应该是这样,但磁盘里怎么不是这样?”


    03 · 为什么又去测试 KVMem 150K?

    原因很简单:既然 96K 已经能跑几个小时,那自然会想——把上下文扩大到 150K,是不是就能减少 compaction?

    理论上很漂亮,于是我测试了:

    NInfer + KVMem + Qwen3.8-27B,150K context。

    项目 实测表现
    上下文配置 150K
    生成速度 60~70 tok/s
    显存情况 没有直接 OOM
    能否运行 能跑

    这也是 KVMem 最吸引人的地方:把更大的历史 KV 放到系统内存,再按需调度,让 16GB 显存的机器也有机会把上下文推到 150K,甚至更高。

    但我真正关心的问题是:

    150K 里面,到底有多少是真正稳定、有效、可用的上下文?

    一个多小时后,开始出现状态混淆

    我用 150K KVMem 跑的任务,和现在这轮 96K Greenfield 非常接近,同样从空目录开始。

    跑到大约一个多小时以后,出现了一些让我不太放心的现象:

    环节 发生了什么
    修改 domain.js 按记忆中的代码做 exact edit,返回 old_string was not found
    重新读取文件 判断“磁盘上的 domain.js 和我记忆中的不一样”
    排查原因 一度怀疑文件被其他东西改过
    再次 Read 才意识到自己对当前文件版本的记忆已经不准确
    修改 index.js 又出现过类似情况

    让我介意的不是一次普通 typo,而是:Agent 开始把历史版本代码和当前磁盘状态混淆。

    现象看到了,但原因不能直接归给 KVMem

    我不能证明这一定是 KVMem 导致的。可能的原因包括:

    • 超长上下文本身的 retrieval interference;
    • Harness 对 tool result 的压缩;
    • 旧版本代码在上下文里长期残留;
    • KV 分页、检索或 checkpoint 机制;
    • 模型在超长上下文里的 attention dilution。

    这些都只是可能的解释,没有完成归因验证。

    但对我来说,没有必要一定找到最终责任人:我是拿它干活,不是做论文。


    04 · 96K 和 150K,实际用起来差在哪里?

    下面是我目前的使用体验,不是严格控制变量的性能结论。

    对比维度 NInfer 96K KVMem 150K
    上下文容量 小一些 更大
    Compaction 更多 理论上更少
    当前工作状态 比较干净,推进稳定 出现过历史版本与当前状态混淆
    历史信息 定期压缩整理 旧代码、旧 tool output、旧状态可能长期残留
    错误表现 大部分是正常 coding bug 出现 stale-state / memory drift 风险
    修复体验 测试后可以快速自修复 出现过需要重新读取文件、纠正自身记忆的情况
    我的当前定位 主力方案 实验方案

    所以我现在越来越怀疑:Coding Agent 的最优上下文,并不是越大越好。

    它可能存在一个甜点区。对我这台机器来说,目前这个甜点区很可能就在:

    Qwen3.8-27B + NInfer 96K


    05 · 为什么暂时停掉 KVMem 150K?

    我觉得 KVMem 很有技术价值。它解决的是一个非常现实的问题:本地显存有限,但大家又想跑更长的 context。

    这个方向值得继续关注。不过,现阶段我不会把它当作自己的 Coding Agent 主力方案。

    验证目标 它回答的问题
    150K 成功加载 上下文能不能装下、能不能运行?
    连续开发 3~4 小时 Agent 还能不能稳定知道自己在干什么,并把项目做完?

    这是两个完全不同的问题。

    Coding Agent 要反复经历:

    代码修改 → 测试 → 再修改 → 浏览器 → API → E2E → 回归 → 报告

    任何一次状态混乱,都可能让它把前面已经正确的东西改坏。

    因此,在我的使用场景下:

    稳定性 > 上下文数字
    会正确地忘掉一部分旧东西,可能比什么都不忘更重要。

    06 · 我现在的配置和建议

    方案 当前选择
    Qwen3.8-27B GSQ-RCO IQ3_S-MTP + NInfer 96K 继续作为主力配置
    KVMem 150K 暂时停用,等待后续版本再测

    后续我会关注这些方面的打磨:

    • Long-context correctness
    • Page boundary
    • KV retrieval
    • Checkpoint / replay
    • 超长 Agent session 稳定性

    如果你现在也准备部署本地 Coding Agent,我个人的建议是:不要为了 150K、200K 这个数字急着上 KVMem。

    如果已经有一套稳定的 64K、96K 或类似方案,先把它跑稳。

    真正衡量一个 Coding Agent 的,是跑几个小时以后,它还能不能把项目正确做完。

    至少目前我的实测结论是:96K 已经能干活。150K KVMem 更像值得研究的实验方案,还不是我愿意长期依赖的生产方案。

    1 条回复 最后回复
    1
    • focuser liF
      focuser liF
      focuser li
      编写于 最后由 focuser li 编辑
      #2

      下载.png

      补一个任务完成的截图

      1 条回复 最后回复
      1
      • terryT
        terryT
        terry
        超级版主
        编写于 最后由 编辑
        #3

        下次发长文本让AI整理成markdown格式,这次我帮你做了。

        油管:https://www.youtube.com/@抡锤者

        1 条回复 最后回复
        0
        • H
          H
          hyaska
          编写于 最后由 hyaska 编辑
          #4

          一直没搞懂NInfer,运行下载模型的bat,只有

          NInfer - model artifact downloader  (Hugging Face)
          ====================================================
          
           [1]  Qwen3.6-27B        groupwise-int   qwen3_6_27b.ninfer         ~16.3 GiB
           [2]  Qwen3.6-27B NVFP4  nvfp4           qwen3_6_27b_nvfp4.ninfer   ~17.1 GiB
           [3]  Qwen3.8-27B        groupwise-int   qwen3_8_27b.ninfer          ~19.0 GiB
           [4]  Qwen3.8-27B NVFP4  nvfp4           qwen3_8_27b_nvfp4.ninfer   ~22.1 GiB
           [5]  Qwen3.6-35B-A3B    groupwise-int   qwen3_6_35b_a3b.ninfer     ~21.2 GiB
           [6]  Qwen3.8-27B NVFP4F  nvfp4full       qwen3_8_27b_nvfp4full.ninfer  ~17.1 GiB
          
           [0]  cancel
          

          楼主的那个不知道哪下载
          是魔搭这个吗
          https://www.modelscope.cn/models/fyb423/Swift-1.5-Qwen3.8-27B-GSQ-RCO-NInfer/files

          1 条回复 最后回复
          0
          • H
            H
            hyaska
            编写于 最后由 编辑
            #5

            windows下原来是用https://github.com/kvmem/kvmem-llama.cpp/releases,纯版ninfer后端不是给5060Ti用的

            1 条回复 最后回复
            0

            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

            厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

            有了你的建议,这篇帖子会更精彩哦 💗

            注册 登录
            回复
            • 在新帖中回复
            登录后回复
            • 从旧到新
            • 从新到旧
            • 最多赞同


            • 登录

            • 登录或注册以进行搜索。
            • 第一个帖子
              最后一个帖子
            0
            • 版块
            • 最新
            • 标签
            • 热门
            • 用户
            • 群组