好的，以下是整理好的论坛帖子内容：

【7900 XTX + llama.cpp】稳定输出 + 不引入历史记录的完整配置方案

硬件

• AMD RX 7900 XTX 24GB（专职跑模型）
• NVIDIA RTX 4060 Ti（主显卡跑桌面，不参与推理）
• 模型：Qwen3.8-27B-Q4_K_M / Qwen3.8-27B-UD-Q4_K_XL

一、稳定输出（速度恒定，不越来越慢）

问题

批量总结文档时，第一个 ~1 分钟出结果，第二个要几分钟，第三个 10 分钟还没完。

根因

1. KV cache 量化过高：q8_0 的 KV cache 撑爆 24GB 显存（模型 15GB + KV 8.6GB = 23.6GB），GPU 和 CPU 之间疯狂换页
2. Copilot 累积历史：opencode 后端会带上之前所有对话的上下文
3. 全库 RAG 搜索：enableLexicalBoosts 每次都在全文检索整个 vault
4. Agent 自主决策：enableAutonomousAgent 每次迭代多轮

修复

1. llama-server 启动参数（start.bat）：

"%SERVER_EXE%" -m "%selected%" -c %ctx% -ngl 99 -fa on --no-mmap ^
  --cache-type-k q4_0 --cache-type-v q4_0 ^
  --parallel 1 -b 512 -ub 256 ^
  --verbose ^
  --host 0.0.0.0 --port 8080

2. 显存对比：

3. 速度对比：

二、不引入历史记录（每次对话干净独立）

Obsidian Copilot data.json 配置

找到文件：E:\你的Vault\.obsidian\plugins\copilot\data.json

改这 7 个字段：

保留这个不变：

"autoAddActiveContentToContext": true

这个是把你当前打开的笔记内容加进 prompt，不是历史记录。做文档总结必须有它。

三、验证方法

看速度和时间

llama-server 终端窗口会打印每个请求的日志：

prompt eval time =  4823 ms / 1200 tokens ( 248.65 tokens per second)
       gen time = 14200 ms /  500 tokens (  35.21 tokens per second)
       total time = 19023 ms / 1700 tokens

验证无历史累积

连续总结 3 个文档，看 llama-server 日志里每个请求的 prompt_tokens 数量：

• 如果三次都差不多（比如都是 ~2000）→ 没有累积历史
• 如果越来越大（2000 → 4000 → 6000）→ 还在带历史

四、批量自动化（可选）

如果需要自动处理整个文件夹的文档，用 Python 脚本调用 llama-server API：

# 核心调用逻辑
payload = {
    "model": "qwen3.8-27b-ud",
    "messages": [
        {"role": "system", "content": "你的整理要求..."},
        {"role": "user", "content": "原文内容..."}
    ],
    "max_tokens": 16384,
    "temperature": 0.2,    # 低温度，输出稳定
    "top_p": 0.85,
    "stream": False
}
resp = requests.post(
    "http://127.0.0.1:8080/v1/chat/completions",
    json=payload,
    timeout=7200
)

关键参数：

• temperature: 0.2 — 低温度，每次输出结构稳定
• stream: False — 非流式，等完整结果再返回
• timeout: 7200 — 2 小时超时，大文档慢慢跑
• 每个文档处理完，KV cache 自动释放，下一个文档拿到干净的 GPU

给 AI 的一键配置 Prompt

我有 AMD RX 7900 XTX 24GB 显卡，用 llama.cpp HIP 版跑 Qwen3.8-27B 本地模型。请帮我配置：

1. start.bat 参数：-ngl 99 -fa on --no-mmap --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 -b 512 -ub 256 --verbose --host 0.0.0.0 --port 8080
2. Obsidian Copilot data.json：contextTurns=0, activeBackend=chat, enableSavedMemory=false, enableRecentConversations=false, enableLexicalBoosts=false, enableAutonomousAgent=false, docProcessorBackend=""
3. 解释每个参数的作用
4. 验证方法：看 llama-server 终端日志的 total time 和 prompt_tokens 是否恒定

这样别人把上面这段发给 AI，就能自动完成整个配置流程。

首先大神们分享的东西肯定是有道理的，但是也要根据自己的需求做。我的需求是文字处理，是大量的处理，所以只能自己摸索。
我从稳定32t/s改到50t/s，并没有提升我的输出速度，反而慢了，所以改回去。

之后我有和AI聊，我只会单独运行模型处理一个问题，所以不用并发，速度也会快一些。

然后问问还能不能更快，也尝试了，最快的确实能1分多钟出结果，但是继续开新对话会越来越慢，只有关闭llama重开的第一次会快一点。但是也比之前速度快很多。

我让trae总结了我的改进，有需要的直接把下面的回答丢给AI就能改，给大家参考。

以下是整理好的论坛帖子内容：

【7900 XTX 跑 llama 全流程踩坑记录】从 20 t/s 到稳定 36 t/s + 长文档 1 分钟总结
背景
硬件：AMD RX 7900 XTX 24GB + NVIDIA RTX 4060 Ti（主显卡跑桌面，7900 XTX 专职跑模型）

模型：Qwen3.8-27B-Q4_K_M.gguf / Qwen3.8-27B-UD-Q4_K_XL.gguf

需求：llama-server 只用 7900 XTX，永远不碰 4060 Ti，稳定跑 dsh 和 Obsidian Copilot

Q1：llama 启动后 4060 Ti 有加载、7900 XTX 没加载？
问题：启动 llama-server 后发现 4060 Ti 有显存占用，7900 XTX 反而没工作。

根因：

start.bat 没有 -ngl 参数，默认 -ngl 0 纯 CPU 跑
原版 llama-server 是 Vulkan 版，同时看到 4060 Ti 和 7900 XTX，做流水线并行把模型拆分到两卡，4060 Ti 成了瓶颈
回答：

下载 HIP 版 llama-server（社区版），只识别 7900 XTX 的 ROCm0，完全看不到 4060 Ti
下载地址：https://github.com/lemonade-sdk/llamacpp-rocm/releases/tag/b1293 （文件名 llama-b1293-windows-rocm-gfx110X-x64.zip，gfx1100 = RDNA3）
解压到 C:\llama\llama-hip
关键：重命名 ggml-vulkan.dll 为 .bak（防止 HIP 版启动时顺带加载 Vulkan 后端）
batch

rename "C:\llama\llama-hip\ggml-vulkan.dll" "ggml-vulkan.dll.bak"
Q2：HIP 版 llama-server 如何启动？
回答：start.bat 核心命令：

batch

"%SERVER_EXE%" -m "%selected%" -c %ctx% -ngl 99 -fa on --no-mmap ^
--cache-type-k q4_0 --cache-type-v q4_0 ^
--parallel 1 -b 512 -ub 256 ^
--host 0.0.0.0 --port 8080
每个参数的作用：

参数 值 作用
-m 模型路径 加载的 GGUF 模型
-c 32768 上下文长度（32K）
-ngl 99 所有层卸载到 GPU（7900 XTX）
-fa on — Flash Attention，降低显存带宽压力
--no-mmap — 模型权重加载到 RAM，避免页面错误
--cache-type-k q4_0 — KV cache 4bit 量化（减半显存）
--cache-type-v q4_0 — KV cache 4bit 量化（减半显存）
--parallel 1 — 单槽位，全算力给一个请求
-b 512 — 批处理大小
-ub 256 — 微批处理大小
--host 0.0.0.0 允许局域网访问
--port 8080 API 端口
Q3：速度从 20 t/s 到 36 t/s 是怎么提升的？
回答：

阶段 后端 速度 原因
初始（无 -ngl） 纯 CPU ~20 t/s 没用 GPU
Vulkan 版（-ngl 99） Vulkan 双卡 ~5 t/s 4060 Ti 成瓶颈
HIP 版（-ngl 99） ROCm 单卡 ~36 t/s 7900 XTX 全速
关键：必须用 HIP 版 + 禁用 ggml-vulkan.dll，否则会出现 backend: ROCm,Vulkan 双后端冲突。

Q4：为什么 MTP 推测解码不能用？（想冲 50+ t/s 的坑）
问题：看到论坛有人 7900 XTX 跑 50-70 t/s，加了 --spec-type draft-mtp 后确实到了 50+ t/s，但出现：

输出变块状（一次吐 3 个 token）
第一个请求快，后面请求反而更慢
Obsidian 长文档总结越来越慢
根因：MTP 推测解码在短上下文下 acceptance rate 87%，快 1.8 倍。但长上下文（文档总结）下草稿命中率暴跌，频繁回退验证，反而更慢。

回答：去掉 --spec-type draft-mtp。稳定 36 t/s 比不稳定的 50+ t/s 更可靠。

Q5：--parallel 应该设多少？
问题：日志里看到 id 0/1/3 同时输出，设了 4 个槽位后单个请求只有 15 t/s。

回答：

使用场景 --parallel 单个请求速度
只用 dsh 或 Obsidian（不同时） 1 ~36 t/s
dsh + Obsidian 同时用 4 ~15-20 t/s（每路）
我选 1，因为不会同时用两个应用。

Q6：1 万字文档总结要 10 多分钟？
问题：短文档快，长文档越来越慢。

根因：--cache-type-k q8_0 导致 KV cache 撑爆 24GB 显存（模型 15GB + q8_0 KV 8.6GB = 23.6GB），GPU 和 CPU 之间疯狂换页。

回答：改 --cache-type-k q4_0 --cache-type-v q4_0：

KV cache 从 8.6GB → 4.3GB
合计显存 19.3GB，富余 4.7GB
1 万字文档总结从 10+ 分钟 → ~1 分钟
质量损失几乎无感（总结任务不敏感）
Q7：如何限制 7900 XTX 功耗？
问题：7900 XTX 跑 llama 满功耗 355W，发热大、风扇吵。

回答：AMD Software: Adrenalin → 性能 → 调整 → 自定义：

功率极限：拉到 -10%（最低）→ 约 320W
电压：-65mV（降压）→ 省 30-50W
合计实际功耗约 270-290W，速度只掉 2-3%（34-35 t/s）
设置永久保存，重启自动生效
最终稳定版 start.bat
batch

@echo off
setlocal enabledelayedexpansion

:: === 关键：禁用 ggml-vulkan.dll 防止后端冲突 ===
if exist "C:\llama\llama-hip\ggml-vulkan.dll" (
rename "C:\llama\llama-hip\ggml-vulkan.dll" "ggml-vulkan.dll.bak"
)

:: === HIP 版路径（只识别 7900 XTX，完全看不到 4060 Ti）===
set SERVER_EXE=C:\llama\llama-hip\llama-server.exe
set MODEL_DIR=C:\model

:: === 模型选择 ===
set /p choice="Model number: "
set selected=
set idx=0
for %%f in ("%MODEL_DIR%*.gguf") do (
set /a idx+=1
if !idx!==%choice% set selected=%%f
)

:: === 上下文选择 ===
set /p ctx_choice="Context (1.8K 2.16K 3.32K 4.64K 5.128K): "
set ctx=8192
if "%ctx_choice%"=="3" set ctx=32768
if "%ctx_choice%"=="5" set ctx=131072

:: === 启动（稳定版，已验证）===
"%SERVER_EXE%" -m "%selected%" -c %ctx% -ngl 99 -fa on --no-mmap ^
--cache-type-k q4_0 --cache-type-v q4_0 ^
--parallel 1 -b 512 -ub 256 ^
--host 0.0.0.0 --port 8080

pause
给 AI 的一键配置 Prompt
我有一台 AMD RX 7900 XTX 24GB + NVIDIA RTX 4060 Ti 双显卡电脑。模型在 C:\model\ 目录（Qwen3.8-27B-Q4_K_M.gguf 等）。请帮我配置 llama-server：

下载 HIP 版 llama-server（gfx1100/RDNA3）到 C:\llama\llama-hip
重命名 ggml-vulkan.dll 为 .bak 防止后端冲突
start.bat 用以下参数：-ngl 99 -fa on --no-mmap --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 -b 512 -ub 256 --host 0.0.0.0 --port 8080
告诉我每个参数的作用
如何限制 GPU 功耗到 300W 左右
这样别人把上面这段发给 AI，就能自动完成整个配置流程。

这个帖子的大神的作业，发给trae让他给我配置，重启之后，从稳定的32t/s到现在50左右，上下浮动比之前大一些，但这速度确实变快了。因为我限制了功耗，所以他说的52t/s减去功耗，现在输出45左右，应该是差不多的。目前温度还是限制功耗速度之后，这个作业没有热量有影响，可以优先抄。我试过几个作业，这个是有效的。

截图是刚开始跑，能看到明显变化，今天我要试一天，看看效果。但是输出的速度确实快了。

1. 我之前那个"130~180W"是估的，不是测你的卡，收回。
我按公版 7900XTX（TBP 355W）的典型推理功耗估的——decode 阶段 150~250W 对公版卡是常态。但你墙插实测的差值（待机 270W → 峰值 700W ≈ 430W 增量）比我的估计大得多，你的实测比我靠谱。

2. 为什么你的卡可能真到 400W+：

• 非公 OC 版 7900XTX 默认功耗墙就能到 400W+（3×8pin 供电，硬件上限 ~450W 级），不是所有 7900XTX 都锁 355W；
• 你跑 DSH 是 coding agent 工作流，每轮都有大段 prefill（你贴过的 16.6K 输入那种），prefill 是实打实吃功耗的负载，峰值冲到 400W+ 完全说得通。

3. 30 秒一锤定音：
GPU-Z 传感器页看 Board Power Draw（或 HWiNFO GPU Power），跑 DSH 时读数如果 350~420W，那你的卡就是高功耗 OC 版，我之前的话对你这张卡不适用，以你的实测为准。

4. 唯一想补充的一点（不是抬杠）：
700W 是墙插全机读数，270W 底噪（4 个显示器 + 13600KF + 主板）常驻不会消失，所以严格归到显卡头上的是 700−270≈430W 这个增量。430W 增量对 OC 卡完全可能，你的核心结论（显卡吃大头）成立，但"700W 全是显卡"字面理解不严谨。

5. 既然 -10% 压不住：
说明你卡的默认墙就高。想真硬压用 MorePowerTool（MPT）锁 320~350W，或者降压 -50~-100mV——OC 卡降压收益比限功耗大，通常省 40~60W 掉速不明显，风扇也跟着安静。不想折腾就不管，33 t/s + 温度正常就是健康状态，不用强求。

你 -10% 限的是显卡功耗墙（7900XTX 默认 TBP 355W，-10% ≈ 320W 上限），但你的监控插头量的是整机功耗——你待机就 270W，跑模型 400W+ 说明显卡实际只多吃了 130~180W，离 320W 的墙远得很，功耗限制根本没触发，墙上数字当然纹丝不动。

验证方法：GPU-Z 传感器页看 Board Power Draw，或 HWiNFO 的 GPU Power——推理时读数应该在 150~250W 区间；HWiNFO 里 Power Limit 显示 90% 就说明 -10% 已生效。

你观察到的现象正好互相印证：hot spot 90°C 以下、风扇不响、33 t/s 稳定 = 显卡远没到满载，功耗墙跟它没关系。想再降整机功耗，方向不是显卡（它已经很省），而是降压（-50~-100mV，通常再省 30~50W 不掉速）或限 CPU（13600KF 满载也能吃 100W+）。但对你这套配置，400W 整机完全正常，安心用。

先说结论：你量的 400W 是整机功耗（监控功率插头量的是全桌面），不是显卡功耗。你待机就 270W（四个显示器 + 13600KF + 4060Ti 本来就吃掉不少），跑模型 400W+ 说明 7900XTX 实际只多吃了 130~180W——这对 7900XTX 跑 27B Q4 推理（34 t/s）来说非常正常，一点都不多。355W+ 那种数字是游戏/满载才有的。

想看显卡单独功耗：GPU-Z 的 Board Power Draw，或 HWiNFO 的 GPU Power，Adrenalin 性能指标里也有。

如果还是想限制（省电/降噪/降发热）：

1. 最简单：AMD Software: Adrenalin → 性能 → 调节 → 自定义 → 功耗限制，拉 -10%~-20%。推理负载下限功耗几乎不掉速——decode 阶段不撞功耗墙，限到 300W 也就掉 2~3%。
2. 进阶：降压（undervolt），Adrenalin 里电压 -50~-100mV，通常省 30~50W 且性能不变，比单纯限功耗划算。
3. 想硬锁上限（任何负载都超不过）：Windows 用 MorePowerTool（MPT）改 power limit，A 卡传统工具。

限到多少合适：日常推理 300W 就行（约 -15%），想更省就 250W，速度也就掉 3~5%。限功耗不影响你 DSH/Obsidian 的 34 t/s 体验，放心用。

看到了！start.bat 里已经有 set GGML_VULKAN_DEVICE=1，说明你之前尝试过用 Vulkan 走 AMD。现在关键问题是：这个 llama-server.exe 到底编译时带了哪些后端？
两个 GPU 都通过 Vulkan 可见了！7900 XTX 是 Vulkan1。问题找到了 —— 看 start.bat 第 67 行：
"%SERVER_EXE%" -m "%selected%" -c %ctx% --host 0.0.0.0 --port 8080
根本没有 -ngl 参数！ 没有 -ngl，llama.cpp 默认 -ngl 0，即完全不往 GPU 卸载任何层，全部跑 CPU。你看到的 4060 Ti 显存占用可能只是 Vulkan 驱动的初始化开销，不是模型实际在跑 GPU。

上面截取的部分就是trae回答的部分，然后他就能找到解决掉，修复好。所以小白的福音就是AI。哪个能用就用哪个。
对于DeepSeek的涨价我是没有太大感觉的，我基本都用网页。原来用Hermes的桌面版，现在重做系统也不用了。估计未来的主力就是DSH和codex。有了这个卡，可以写写东西了。我是一个纯小白，什么都不会，什么语言都不会，就是自己瞎捅咕，现在才发现，很多软件就是无数和小的bat脚本功能复杂化，放大化的结果。自从自己写脚本满足自己的需求，才了解世界真美妙。

2 轮 · 2 步| LLM 2m20s| 首 token 平均 20.4s · 22 tok/s| 缓存命中 50%| 输入 16.6K tok · 输出 2.1K tok
我说了两句话，这个速度比我用4060ti加载哪个Q5速度要快。
这里给朋友们说一下4060ti运行的速度
如果是8K上下文能达到16token/S的速度，32K是10t/s左右，64k是4t/s左右，这个是痛苦的煎熬。所以痛定思痛，加了7900xtx，这个就是我的心路历程。

到这就没什么大问题了。写这个帖子也是给需要的朋友一个角度。

2张卡一起，目前体感觉得有点卡，卡点在哪不知道，现在4060ti会加载一些东西在里面，是什么我也不知道，7900xtx没有加载，只有在有任务的时候才开始启动。这个我日后搞明白再做介绍。

现在后台只开了llama.cpp和DSH，所以问题就在这，我在和DeepSeek沟通沟通。

这个是主机只有4060ti的样子 记录一下

由于只有一台电脑，所有东西都紧着用，很局促。所有显示器都插在4060ti上，7900xtx不插显示器

成功点亮

点亮之后说下我的情况。
之前装好了4060ti的驱动，系统也是重装的，安上7900xtx之后再开机装amd的驱动，然后重启，中间有屏幕识别不到的情况，一个报错自动重启，之后就又可以用了。

这里已经能识别显卡了

接下来问题来了，我按小特的说法下载了llama.cpp Vulkan

环境变量要添加一个这个，DeepSeek告诉我0是4060ti，1是7900xtx，所以这里要改。

然后运行我下载的qwen模型，测试一下对话没问题

这个时候我就准备让DeepSeek给我写一键启动脚本，模型可选，上下文我来填，这时候我遇到问题了。
以下是DeepSeek的回答：
如果你想要 64K 上下文，需要填写 65536（因为 1K = 1024，64 × 1024 = 65536）。

小提示：虽然有时也写作 64000，但 LLM 底层按 2 的幂次计算，标准写法是 65536。

️ 但是（非常重要）：你的 7900 XTX（24GB）很可能跑不动 64K
以你的 27B 模型（Q4_K_M，约 16.5GB） 为例：

模型权重本身占用：约 16.5 GB

剩余显存：约 7.5 GB

27B 模型在 64K（65536 tokens）上下文下的 KV Cache 估算：约 30~50 GB（取决于模型层数和注意力头数）

这意味着如果你填写 65536，服务器启动时会直接显存溢出（OOM）崩溃，报错 failed to allocate memory。

你的 7900XTX（24GB）实际能跑多长上下文？
上下文长度 数值填写 预估KV Cache占用 合计显存 能否运行
8K 8192 约 4-5 GB 约 21 GB 流畅运行（你之前测的就是这个）
16K 16384 约 8-10 GB 约 25-26 GB ️ 接近极限，可能勉强爆显存
32K 32768 约 16-20 GB 约 33-36 GB 直接崩溃
64K 65536 约 30-50 GB 约 47-66 GB 完全不可能
建议方案
稳妥之选：填 8192（8K），这是你已验证过能稳定运行的值，速度也最快。

挑战极限：你可以试试填 16384（16K），如果启动时报错 out of memory，就说明显存不够，再降回 8192。

强行上 64K 的办法（成本较高）：

换更小的模型，比如 Qwen3-14B 或 Qwen3-8B，模型权重更小，能省出更多显存给 KV Cache。

在启动命令中增加 KV Cache 量化参数，牺牲一点精度换取显存：--cache-type-k q4_0 --cache-type-v q4_0（可以将 KV 占用压缩到原来的 1/4 左右）。修改脚本中的启动行即可。

如果坚持要试 64K，修改脚本如下
在脚本的启动行（最后一行）添加量化参数：

batch
"%SERVER_EXE%" -m "%selected%" -c %ctx% --host 0.0.0.0 --port 8080 --cache-type-k q4_0 --cache-type-v q4_0
然后填写 65536，如果还是报错，就说明 27B 模型配合 64K 确实超出了 24GB 物理极限。

我的建议：先用 8192（8K）稳定使用，日常也完全够用了。如果你确实需要处理超长文档，再考虑下载一个更小的模型（比如 14B 或 8B）来跑 64K。

这个是怎么回事？老特不是说7900xtx可以跑128K上下文吗？

1. GPU-Z 为什么显示 4060Ti 是 PCIe x8、7900XTX 是 x16？

不是主板的问题，是卡本身的设计：RTX 4060 / 4060 Ti 的 PCB 上就只焊了 8 条 PCIe lane（NVIDIA 故意的，这代 60 系都是 x8 接口）。所以不管你把它插在 x16 槽还是 x8 槽，它最高就只能跑 x8——GPU-Z 没骗你，它如实报告了卡的链路宽度。7900XTX 是完整 x16 的卡，插 x16 槽就显示 x16。

这个不用担心性能：PCIe 4.0 x8 带宽 16GB/s，对 4060Ti 的显存访问和日常使用完全够用，x8 vs x16 在这张卡上差距可以忽略。

2. 3 条 8pin 给 7900XTX，再拿一根线一分二给 4060Ti，有没有说法？

可以，放心用。4060Ti 16G 满载也就 ~165W，单根 8pin 规范 150W + PCIe 槽供电 75W，余量很足，一分二完全带得动。两个讲究：

• 一分二线买正规线材（别用劣质转接线），两条 8pin 的显卡端都插紧。
• 7900XTX 那 3 根 8pin 尽量各自独立接电源的原生口，别用一根线串两个头——7900XTX 峰值功耗高，这是唯一的讲究点。4060Ti 这边无所谓。

你 1250W 电源带 7900XTX（~355W）+ 4060Ti（~165W）总负载不到 600W，非常轻松。

另外你计划的路线没问题：明天重装系统后，llama.cpp 用官方 Windows release 包 + Vulkan 后端，A 卡最省事。装完跑起来有任何问题直接发帖，随时帮你排查。

下次发帖发下自己的显卡和主板照片，给论坛增加点素材，别人看了也更愿意回答。不然大家不知道你是不是在瞎几把扯淡。

你看，我这个显卡坞是雷电4的，和雷电3一样，都是相当于3.04的带宽，还略低一点。它还要经过协议转换，实际上远不如4.04。4060Ti放在副插槽上不影响你日常工作。