还有一个例子,我有一个自己的小网站,平时记一些心得,我让GPT做一个这个网站的评价和总结,结果是他编了一段话,说这个旅游博主的网站很不错。我直接批评它,它道歉了,然后才告诉我,它无法访问。你仔细想想这背后的逻辑,它为什么这么做??你应该是个聪明人,哈哈。
vanvj
-
为什么有人会喜欢骂AI? -
为什么有人会喜欢骂AI?
-
为什么有人会喜欢骂AI?你的回复也是值得讨论的点,你问ai这个问题,他一定这么答你。之前我有个朋友,在以色列留学,是个读气象学的博士,他和我聊佛学的世界观,问gpt,“为什么佛法是有缺陷的,而且在现实中会产生很多bug点”,gpt说了一堆话,他兴冲冲地找我聊,我直接问gpt,“为什么佛法不会在现实中产生bug点”,GPT引经据典又讲了一篇,我用他的矛直接破他自己的盾。GPT只是个大模型,是辅助你的,你拿他当裁判,唉,我是个it行业的老头,从汇编语言开始折腾到现在,看着这个行业慢慢地走进社会,然后把你们忽悠成这样,有的时候觉得很梦幻。。。。。
-
为什么有人会喜欢骂AI?AI不是人,但是它是由人训练出来的,思维方式接近人,所以,在训练它的时候,会加上这个维度的数据,当然表达方式你可以选择,但是要表达出你认知它的无知和敷衍(这个是大部分AI都会做的事情),你很愤怒,你仔细看GPT,它会一直嘴硬,但是他在不断调整它应对你的等级,我在把它说的体无完肤的时候(相对友好的语言,但是绝对让它感到不快),它会说,我要换一种方式和你对话,你对这个领域的知识已经到了巴拉巴拉的一个层面,它会把很多数据,复杂的分析结果展现给我。
-
请教你们都是怎么解决上下文总是满了的问题?对比结果:
| 指标 | Vulkan | ROCm | 差异 | |-----------|-------------------------|--------------------------|----------------| | 生成速度 | 40.6 t/s (362 tok/8.9s) | 29.9 t/s (402 tok/13.4s) | Vulkan 快 36% | | 首 token | ~1.1s | ~1.5s | Vulkan 稍快 | | VRAM 占用 | 84% | 88-90% | Vulkan 省 4-6% | | 温度/功耗 | 待测 | 待测 | - | Vulkan(RADV)在 RX 7900 XTX 上比 ROCm 快 36%,而且 VRAM 占用更低。确实符合预期——RADV Vulkan 驱动在 RDNA3 上的优化现在比 ROCm 的 HIP 后端更好。 -
请教你们都是怎么解决上下文总是满了的问题?@怪叔叔 这个有调整,其实是无数次死循环后,被迫改的,加了不少规则,确实不容易死了,但上下文平均增加了一点点。
-
请教你们都是怎么解决上下文总是满了的问题?@mark 主板买的早,DDR5的内存,确实想再买32G添上去,不过还好开始降价了,再等等吧。
-
请教你们都是怎么解决上下文总是满了的问题?@566656661 确实,我也认命了,这个最佳解是提高硬件配置,要么就是把cache进ram,用速度换上下文的容量。
-
请教你们都是怎么解决上下文总是满了的问题?│完整配置一览:
硬件 项目 规格 ───── ─────────────────────────────────── CPU Intel i5-12600KF GPU AMD Radeon RX 7900 XTX(24GB VRAM) 内存 30GB(9.3GB 在用,21GB 可用) 硬盘 937GB NVMe(258GB 已用,29%) 系统 Ubuntu 26.04,内核 7.0.0 有线 192.168.2.120(enp5s0) Wi-Fi 192.168.200.107(wlp6s0,备用) 模型推理 项目 值 ──────── ─────────────────────────────────────── 模型 Qwen3.6-27B-MTP Q4_K_M 上下文 98,304 tokens 上下文 98,304 tokens 推理 MTP draft 模式(最大 2 个 draft token) 速度 ~45 tok/s GPU 全层 offload(-ngl 99) KV cache q4_0(省显存) 模板 temp 0.4、top-p 0.95 Hermes 配置 项目 值 ─────────── ────────────────────────────────── 版本 v0.17.0(~/bin/hugo v0.163.3) 最大轮次 50 压缩 开启,50% 阈值 → 压缩到 40% MEMORY 上限 4,400 字符 USER 上限 2,750 字符 SOUL.md 31 行(防死循环 + skill 加载规则) Dashboard :9119,auth: basic(vanvj) fallback DeepSeek V4 Flash 部署项目(~/project/) 项目 说明 ───────── ───────────────────── monkvan 神话传说(hugo-book) monkvancn 中国神话 oldvan 老梵博客(LoveIt) wellness 养生站(FixIt) 当前会话状态 项目 值 ─────────────── ────────────────────────────── 活跃会话 1 当前水位 38,204 / 98,304 tokens(39%) 缓存命中 58% Watchdog 每 5 分钟检测,>60% 自动存快照 Save-state cron 每 10 分钟自动备份 -
请教你们都是怎么解决上下文总是满了的问题?各位大神介绍一下经验,我的折腾如下:
1、修改rag大小:
文件 之前 现在 上下文占用
───────── ────────── ────────── ─────────────
MEMORY.md 2,200 字符 4,400 字符 ~1,600 tokens
USER.md 1,375 字符 2,750 字符 ~1,000 tokens
2、搞了个Watchdog 核心:• ✅ 进程存活检测 • ✅ Dashboard 端口检测 • ✅ Worker 数量监测 • ✅ 会话数量监测 上下文水位检测当前显示"未知"是因为没有活跃对话。等你或 另外一台计算机上有活跃 session 时,它会从日志里读到 context_pct 数据。如果发现水位 > 60% 就会自动保存。3、 手段 做什么
─────────────────────── ────────────────────────────
\ head -100``
save-state.py + /new 存快照开新会话
anti-loop skill 避免重复失败撑爆
/compress 主动压缩上下文
一个 session 只做一件事 从源头控制
————————
但还是会有报错的时候,如果解决不了,这就没法长时间跑批处理,要一直盯着。大神们有没有办法,请教。