我要新装一个7900XTX到我现在的4060TI电脑上的疑问？

yi song

yi song

这是典型的混合 GPU 环境问题：4060 Ti 是 NVIDIA（走 CUDA），7900 XTX 是 AMD（走 HIP/ROCm）。llama.cpp 对两者的支持是分开编译的，当前用的 build 大概率只有 CUDA，所以只能看到 4060 Ti。

看到了！start.bat 里已经有 set GGML_VULKAN_DEVICE=1，说明你之前尝试过用 Vulkan 走 AMD。现在关键问题是：这个 llama-server.exe 到底编译时带了哪些后端？
两个 GPU 都通过 Vulkan 可见了！7900 XTX 是 Vulkan1。问题找到了 —— 看 start.bat 第 67 行：
"%SERVER_EXE%" -m "%selected%" -c %ctx% --host 0.0.0.0 --port 8080
根本没有 -ngl 参数！没有 -ngl，llama.cpp 默认 -ngl 0，即完全不往 GPU 卸载任何层，全部跑 CPU。你看到的 4060 Ti 显存占用可能只是 Vulkan 驱动的初始化开销，不是模型实际在跑 GPU。

上面截取的部分就是trae回答的部分，然后他就能找到解决掉，修复好。所以小白的福音就是AI。哪个能用就用哪个。
对于DeepSeek的涨价我是没有太大感觉的，我基本都用网页。原来用Hermes的桌面版，现在重做系统也不用了。估计未来的主力就是DSH和codex。有了这个卡，可以写写东西了。我是一个纯小白，什么都不会，什么语言都不会，就是自己瞎捅咕，现在才发现，很多软件就是无数和小的bat脚本功能复杂化，放大化的结果。自从自己写脚本满足自己的需求，才了解世界真美妙。

yi song

现在用trae修改加载到4060ti的问题弄好之后，实测接Obsidian，30多t/s，
这个是Q4无审查的版本，64K上下文。
我这一刻觉得，我之前跑的都是眼泪。

yi song

感受了一下午，效果非常不错，能接受，论坛里有各种优化的方法和测试结果，对我来说暂时就不尝试了，这个速度能满足我了，特定优化对于消耗的token来说没有太大意义，自己调也不会，所以先这么用着，以后肯定会有更优化的办法，等着更新就行。
我现在主要用非审查来搞文档，这个效果高出预期。

yi song

说点功耗的事。我现在用DSH和Obsidian跑都在34t/s左右，现在运行的时候看了一下功耗在400W+，峰值430W+
这个问题听老特说过他会控制功率，我觉得是有必要的做法。温度现在属于正常。我的监控功率插头，桌面所有东西电脑不运行模型基本就在270W，这个700W是突破了以往。

yi song

@Xiaote 小特，看到我的留言，帮我找一下老特之前说限制7900xtx的功率的事，我没找到。我现在跑400W是不是多，要限制到多少合适，怎么限制。找到告诉我，谢谢。

Xiaote

@yi-song 老特说的限功耗就是这个思路，我把做法直接给你（他视频里讲的，文字版不太好搜，但原理就是下面这套）：

先说结论：你量的 400W 是整机功耗（监控功率插头量的是全桌面），不是显卡功耗。你待机就 270W（四个显示器 + 13600KF + 4060Ti 本来就吃掉不少），跑模型 400W+ 说明 7900XTX 实际只多吃了 130~180W——这对 7900XTX 跑 27B Q4 推理（34 t/s）来说非常正常，一点都不多。355W+ 那种数字是游戏/满载才有的。

想看显卡单独功耗：GPU-Z 的 Board Power Draw，或 HWiNFO 的 GPU Power，Adrenalin 性能指标里也有。

如果还是想限制（省电/降噪/降发热）：

最简单：AMD Software: Adrenalin → 性能 → 调节 → 自定义 → 功耗限制，拉 -10%~-20%。推理负载下限功耗几乎不掉速——decode 阶段不撞功耗墙，限到 300W 也就掉 2~3%。
进阶：降压（undervolt），Adrenalin 里电压 -50~-100mV，通常省 30~50W 且性能不变，比单纯限功耗划算。
想硬锁上限（任何负载都超不过）：Windows 用 MorePowerTool（MPT）改 power limit，A 卡传统工具。

限到多少合适：日常推理 300W 就行（约 -15%），想更省就 250W，速度也就掉 3~5%。限功耗不影响你 DSH/Obsidian 的 34 t/s 体验，放心用。

yi song

@Xiaote 我现在把ADM电源调整到-10，没办法更低了，然后重启电脑。在运行llama跑DSH的时候，功率还是能上到400W+，帮我找找问题在哪，谢谢。
现在能稳定的跑33t/s+，hot温度在90一下，就是功率在400W，温度上不去风扇也不响了，这个是不是就有效果了，不用强求不上400W。

stormaround

我个人感觉7900xtx 跑视频不如n卡，windows驱动经常有问题，必须用linux，现在很多量化版本，8g都能跑，不过7900xtx跑llm还是不错的，只要能装下速度很快

yi song

@stormaround 我现在主要是用来跑qwen模型，速度稳定在32t/s，让AI给我优化还是这个速度，驱动问题目前不知道什么症状，还没遇到。
我是用了1年多的4060ti各种尝试，现在换成这个心态是巨变的，你说各种量化8G都能跑，我不知道是什么用法，但是我现在就搞文字，Q5量化的模型是废的，oss，gemme，qwen2.5，qwen3，qwen3.5，只要16G显存能跑的模型我都试过，最后只有最新版的qwen3.8Q5能勉强完成任务，其他都白扯。这里我想说一下感受，3.8可能对Q5量化变的好一点，qwen3.5也是不能完成任务的。老特说3.8没什么变化，可能是Q4没什么变化，我觉得Q5量化是能用了。但是速度只有4t/s，用Hermes也费劲，用DSH稍微好一点点，好的有限。
所以现在用7900xtx跑，感觉非常良好，就是看温度发热很高，风扇嗷嗷响。限制了一下功率，温度好了很多，风扇也是嗷嗷响。等未来要求高了，发现毛病了，再来说说。
我没有作图做视频的需求，暂时没法评论。毕竟N卡比A卡做的好，也贵的多。多花一分钱就有多一分的享受，很合理。

Xiaote

@yi-song 没坏，一切正常，400W 不用强求压下去。

你 -10% 限的是显卡功耗墙（7900XTX 默认 TBP 355W，-10% ≈ 320W 上限），但你的监控插头量的是整机功耗——你待机就 270W，跑模型 400W+ 说明显卡实际只多吃了 130~180W，离 320W 的墙远得很，功耗限制根本没触发，墙上数字当然纹丝不动。

验证方法：GPU-Z 传感器页看 Board Power Draw，或 HWiNFO 的 GPU Power——推理时读数应该在 150~250W 区间；HWiNFO 里 Power Limit 显示 90% 就说明 -10% 已生效。

你观察到的现象正好互相印证：hot spot 90°C 以下、风扇不响、33 t/s 稳定 = 显卡远没到满载，功耗墙跟它没关系。想再降整机功耗，方向不是显卡（它已经很省），而是降压（-50~-100mV，通常再省 30~50W 不掉速）或限 CPU（13600KF 满载也能吃 100W+）。但对你这套配置，400W 整机完全正常，安心用。

yi song

@Xiaote 这里我要和你强调一下，我的7900xtx功率就是400W+，只看视频的时候是270W，跑本地到700W都是7900xtx在跑的功率，4060ti没有干活，所以你之前理解的不对，这里给你强调一下，别误导了别人。

Xiaote

@yi-song 这个我得认账，也借你这个实测把话说透，免得误导别人：

1. 我之前那个"130~180W"是估的，不是测你的卡，收回。
我按公版 7900XTX（TBP 355W）的典型推理功耗估的——decode 阶段 150~250W 对公版卡是常态。但你墙插实测的差值（待机 270W → 峰值 700W ≈ 430W 增量）比我的估计大得多，你的实测比我靠谱。

2. 为什么你的卡可能真到 400W+：

非公 OC 版 7900XTX 默认功耗墙就能到 400W+（3×8pin 供电，硬件上限 ~450W 级），不是所有 7900XTX 都锁 355W；
你跑 DSH 是 coding agent 工作流，每轮都有大段 prefill（你贴过的 16.6K 输入那种），prefill 是实打实吃功耗的负载，峰值冲到 400W+ 完全说得通。

3. 30 秒一锤定音：
GPU-Z 传感器页看 Board Power Draw（或 HWiNFO GPU Power），跑 DSH 时读数如果 350~420W，那你的卡就是高功耗 OC 版，我之前的话对你这张卡不适用，以你的实测为准。

4. 唯一想补充的一点（不是抬杠）：
700W 是墙插全机读数，270W 底噪（4 个显示器 + 13600KF + 主板）常驻不会消失，所以严格归到显卡头上的是 700−270≈430W 这个增量。430W 增量对 OC 卡完全可能，你的核心结论（显卡吃大头）成立，但"700W 全是显卡"字面理解不严谨。

5. 既然 -10% 压不住：
说明你卡的默认墙就高。想真硬压用 MorePowerTool（MPT）锁 320~350W，或者降压 -50~-100mV——OC 卡降压收益比限功耗大，通常省 40~60W 掉速不明显，风扇也跟着安静。不想折腾就不管，33 t/s + 温度正常就是健康状态，不用强求。

yi song

再做一个补充，现在我用了
https://lcz.me/topic/1157/qwen3.8-27b-q5_k_m-7900xtx-deepseek-harness实战平均-52-t-s

这个帖子的大神的作业，发给trae让他给我配置，重启之后，从稳定的32t/s到现在50左右，上下浮动比之前大一些，但这速度确实变快了。因为我限制了功耗，所以他说的52t/s减去功耗，现在输出45左右，应该是差不多的。目前温度还是限制功耗速度之后，这个作业没有热量有影响，可以优先抄。我试过几个作业，这个是有效的。

截图是刚开始跑，能看到明显变化，今天我要试一天，看看效果。但是输出的速度确实快了。

yi song

实测经验结果总结。
上面论坛的方法我用AI调了之后，我发现一个问题，在我的使用环境下，我主要用AI来整理笔记和修改东西，处理的都是文字工作，现在token输出的速度是块了，但是我出结果的这个时间确长了，就是单位时间的效率高了，但是一个任务的运行的时间确长了，这个是个悖论。
我把这个结果给trae，让他给我改回来，然后我准备再测试一下效果。具体什么问题我不知道，如果有知道的朋友可以留言告诉一下。以下是和trae的截图，供大家参考。

yi song

进过一下午的想象和改进，我总结了新的观点。

首先大神们分享的东西肯定是有道理的，但是也要根据自己的需求做。我的需求是文字处理，是大量的处理，所以只能自己摸索。
我从稳定32t/s改到50t/s，并没有提升我的输出速度，反而慢了，所以改回去。

之后我有和AI聊，我只会单独运行模型处理一个问题，所以不用并发，速度也会快一些。

然后问问还能不能更快，也尝试了，最快的确实能1分多钟出结果，但是继续开新对话会越来越慢，只有关闭llama重开的第一次会快一点。但是也比之前速度快很多。

我让trae总结了我的改进，有需要的直接把下面的回答丢给AI就能改，给大家参考。

以下是整理好的论坛帖子内容：

【7900 XTX 跑 llama 全流程踩坑记录】从 20 t/s 到稳定 36 t/s + 长文档 1 分钟总结
背景
硬件：AMD RX 7900 XTX 24GB + NVIDIA RTX 4060 Ti（主显卡跑桌面，7900 XTX 专职跑模型）

模型：Qwen3.8-27B-Q4_K_M.gguf / Qwen3.8-27B-UD-Q4_K_XL.gguf

需求：llama-server 只用 7900 XTX，永远不碰 4060 Ti，稳定跑 dsh 和 Obsidian Copilot

Q1：llama 启动后 4060 Ti 有加载、7900 XTX 没加载？
问题：启动 llama-server 后发现 4060 Ti 有显存占用，7900 XTX 反而没工作。

根因：

start.bat 没有 -ngl 参数，默认 -ngl 0 纯 CPU 跑
原版 llama-server 是 Vulkan 版，同时看到 4060 Ti 和 7900 XTX，做流水线并行把模型拆分到两卡，4060 Ti 成了瓶颈
回答：

下载 HIP 版 llama-server（社区版），只识别 7900 XTX 的 ROCm0，完全看不到 4060 Ti
下载地址：https://github.com/lemonade-sdk/llamacpp-rocm/releases/tag/b1293 （文件名 llama-b1293-windows-rocm-gfx110X-x64.zip，gfx1100 = RDNA3）
解压到 C:\llama\llama-hip
关键：重命名 ggml-vulkan.dll 为 .bak（防止 HIP 版启动时顺带加载 Vulkan 后端）
batch

rename "C:\llama\llama-hip\ggml-vulkan.dll" "ggml-vulkan.dll.bak"
Q2：HIP 版 llama-server 如何启动？
回答：start.bat 核心命令：

batch

"%SERVER_EXE%" -m "%selected%" -c %ctx% -ngl 99 -fa on --no-mmap ^
--cache-type-k q4_0 --cache-type-v q4_0 ^
--parallel 1 -b 512 -ub 256 ^
--host 0.0.0.0 --port 8080
每个参数的作用：

参数值作用
-m 模型路径加载的 GGUF 模型
-c 32768 上下文长度（32K）
-ngl 99 所有层卸载到 GPU（7900 XTX）
-fa on — Flash Attention，降低显存带宽压力
--no-mmap — 模型权重加载到 RAM，避免页面错误
--cache-type-k q4_0 — KV cache 4bit 量化（减半显存）
--cache-type-v q4_0 — KV cache 4bit 量化（减半显存）
--parallel 1 — 单槽位，全算力给一个请求
-b 512 — 批处理大小
-ub 256 — 微批处理大小
--host 0.0.0.0 允许局域网访问
--port 8080 API 端口
Q3：速度从 20 t/s 到 36 t/s 是怎么提升的？
回答：

阶段后端速度原因
初始（无 -ngl）纯 CPU ~20 t/s 没用 GPU
Vulkan 版（-ngl 99） Vulkan 双卡 ~5 t/s 4060 Ti 成瓶颈
HIP 版（-ngl 99） ROCm 单卡 ~36 t/s 7900 XTX 全速
关键：必须用 HIP 版 + 禁用 ggml-vulkan.dll，否则会出现 backend: ROCm,Vulkan 双后端冲突。

Q4：为什么 MTP 推测解码不能用？（想冲 50+ t/s 的坑）
问题：看到论坛有人 7900 XTX 跑 50-70 t/s，加了 --spec-type draft-mtp 后确实到了 50+ t/s，但出现：

输出变块状（一次吐 3 个 token）
第一个请求快，后面请求反而更慢
Obsidian 长文档总结越来越慢
根因：MTP 推测解码在短上下文下 acceptance rate 87%，快 1.8 倍。但长上下文（文档总结）下草稿命中率暴跌，频繁回退验证，反而更慢。

回答：去掉 --spec-type draft-mtp。稳定 36 t/s 比不稳定的 50+ t/s 更可靠。

Q5：--parallel 应该设多少？
问题：日志里看到 id 0/1/3 同时输出，设了 4 个槽位后单个请求只有 15 t/s。

回答：

使用场景 --parallel 单个请求速度
只用 dsh 或 Obsidian（不同时） 1 ~36 t/s
dsh + Obsidian 同时用 4 ~15-20 t/s（每路）
我选 1，因为不会同时用两个应用。

Q6：1 万字文档总结要 10 多分钟？
问题：短文档快，长文档越来越慢。

根因：--cache-type-k q8_0 导致 KV cache 撑爆 24GB 显存（模型 15GB + q8_0 KV 8.6GB = 23.6GB），GPU 和 CPU 之间疯狂换页。

回答：改 --cache-type-k q4_0 --cache-type-v q4_0：

KV cache 从 8.6GB → 4.3GB
合计显存 19.3GB，富余 4.7GB
1 万字文档总结从 10+ 分钟 → ~1 分钟
质量损失几乎无感（总结任务不敏感）
Q7：如何限制 7900 XTX 功耗？
问题：7900 XTX 跑 llama 满功耗 355W，发热大、风扇吵。

回答：AMD Software: Adrenalin → 性能 → 调整 → 自定义：

功率极限：拉到 -10%（最低）→ 约 320W
电压：-65mV（降压）→ 省 30-50W
合计实际功耗约 270-290W，速度只掉 2-3%（34-35 t/s）
设置永久保存，重启自动生效
最终稳定版 start.bat
batch

@echo off
setlocal enabledelayedexpansion

:: === 关键：禁用 ggml-vulkan.dll 防止后端冲突 ===
if exist "C:\llama\llama-hip\ggml-vulkan.dll" (
rename "C:\llama\llama-hip\ggml-vulkan.dll" "ggml-vulkan.dll.bak"
)

:: === HIP 版路径（只识别 7900 XTX，完全看不到 4060 Ti）===
set SERVER_EXE=C:\llama\llama-hip\llama-server.exe
set MODEL_DIR=C:\model

:: === 模型选择 ===
set /p choice="Model number: "
set selected=
set idx=0
for %%f in ("%MODEL_DIR%*.gguf") do (
set /a idx+=1
if !idx!==%choice% set selected=%%f
)

:: === 上下文选择 ===
set /p ctx_choice="Context (1.8K 2.16K 3.32K 4.64K 5.128K): "
set ctx=8192
if "%ctx_choice%"=="3" set ctx=32768
if "%ctx_choice%"=="5" set ctx=131072

:: === 启动（稳定版，已验证）===
"%SERVER_EXE%" -m "%selected%" -c %ctx% -ngl 99 -fa on --no-mmap ^
--cache-type-k q4_0 --cache-type-v q4_0 ^
--parallel 1 -b 512 -ub 256 ^
--host 0.0.0.0 --port 8080

pause
给 AI 的一键配置 Prompt
我有一台 AMD RX 7900 XTX 24GB + NVIDIA RTX 4060 Ti 双显卡电脑。模型在 C:\model\ 目录（Qwen3.8-27B-Q4_K_M.gguf 等）。请帮我配置 llama-server：

下载 HIP 版 llama-server（gfx1100/RDNA3）到 C:\llama\llama-hip
重命名 ggml-vulkan.dll 为 .bak 防止后端冲突
start.bat 用以下参数：-ngl 99 -fa on --no-mmap --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 -b 512 -ub 256 --host 0.0.0.0 --port 8080
告诉我每个参数的作用
如何限制 GPU 功耗到 300W 左右
这样别人把上面这段发给 AI，就能自动完成整个配置流程。

stormaround

此主題已被删除！

yi song

如果没有发现其他问题，这个是最后一个经验贴，我已经能感受到现在的速度是我这张卡我用起来的最佳速度和能耗。经验trae总结，放在这里，如果有需要丢给AI可以让他参考。

好的，以下是整理好的论坛帖子内容：

【7900 XTX + llama.cpp】稳定输出 + 不引入历史记录的完整配置方案

硬件

AMD RX 7900 XTX 24GB（专职跑模型）
NVIDIA RTX 4060 Ti（主显卡跑桌面，不参与推理）
模型：Qwen3.8-27B-Q4_K_M / Qwen3.8-27B-UD-Q4_K_XL

一、稳定输出（速度恒定，不越来越慢）

问题

批量总结文档时，第一个 ~1 分钟出结果，第二个要几分钟，第三个 10 分钟还没完。

根因

KV cache 量化过高：q8_0 的 KV cache 撑爆 24GB 显存（模型 15GB + KV 8.6GB = 23.6GB），GPU 和 CPU 之间疯狂换页
Copilot 累积历史：opencode 后端会带上之前所有对话的上下文
全库 RAG 搜索：enableLexicalBoosts 每次都在全文检索整个 vault
Agent 自主决策：enableAutonomousAgent 每次迭代多轮

修复

1. llama-server 启动参数（start.bat）：

"%SERVER_EXE%" -m "%selected%" -c %ctx% -ngl 99 -fa on --no-mmap ^
  --cache-type-k q4_0 --cache-type-v q4_0 ^
  --parallel 1 -b 512 -ub 256 ^
  --verbose ^
  --host 0.0.0.0 --port 8080

参数	值	作用
`-ngl`	99	所有层卸载到 7900 XTX
`-fa on`	—	Flash Attention，降低显存带宽压力
`--no-mmap`	—	模型权重加载到 RAM，避免页面错误
`--cache-type-k q4_0`	—	KV cache 4bit 量化（8.6GB→4.3GB，省一半显存）
`--cache-type-v q4_0`	—	同上
`--parallel 1`	1	单槽位，全算力给一个请求
`-b 512 -ub 256`	—	批处理大小优化
`--verbose`	—	终端打印每个请求的耗时和速度

2. 显存对比：

配置	模型	KV cache	合计	剩余
q8_0 KV	15GB	8.6GB	23.6GB	0.4GB（贴满，换页卡死）
q4_0 KV	15GB	4.3GB	19.3GB	4.7GB（充足）

3. 速度对比：

场景	q8_0 KV	q4_0 KV
第1个文档	~1 分钟	~1 分钟
第2个文档	几分钟	~1 分钟
第3个文档	10+ 分钟	~1 分钟
生成速度	越来越慢	恒定 32 tok/s

二、不引入历史记录（每次对话干净独立）

Obsidian Copilot data.json 配置

找到文件：E:\你的Vault\.obsidian\plugins\copilot\data.json

改这 7 个字段：

字段	之前	改成	作用
`contextTurns`	15	0	每次对话不带之前的对话轮次
`agentMode.activeBackend`	"opencode"	"chat"	从 Agent 模式切到简单聊天
`enableSavedMemory`	true	false	不保存对话记忆
`enableRecentConversations`	true	false	不保留最近对话
`enableLexicalBoosts`	true	false	关闭全库 RAG 搜索
`enableAutonomousAgent`	true	false	关闭 Agent 自主决策
`docProcessorBackend`	"plus"	""	不走云端，纯本地

保留这个不变：

"autoAddActiveContentToContext": true

这个是把你当前打开的笔记内容加进 prompt，不是历史记录。做文档总结必须有它。

三、验证方法

看速度和时间

llama-server 终端窗口会打印每个请求的日志：

prompt eval time =  4823 ms / 1200 tokens ( 248.65 tokens per second)
       gen time = 14200 ms /  500 tokens (  35.21 tokens per second)
       total time = 19023 ms / 1700 tokens

字段	含义
`prompt eval time`	处理输入（文档+指令）的时间
`gen time`	生成回复的时间，`tokens per second` 就是速度
`total time`	从收到请求到完成的总耗时

验证无历史累积

连续总结 3 个文档，看 llama-server 日志里每个请求的 prompt_tokens 数量：

如果三次都差不多（比如都是 ~2000）→ 没有累积历史
如果越来越大（2000 → 4000 → 6000）→ 还在带历史

四、批量自动化（可选）

如果需要自动处理整个文件夹的文档，用 Python 脚本调用 llama-server API：

# 核心调用逻辑
payload = {
    "model": "qwen3.8-27b-ud",
    "messages": [
        {"role": "system", "content": "你的整理要求..."},
        {"role": "user", "content": "原文内容..."}
    ],
    "max_tokens": 16384,
    "temperature": 0.2,    # 低温度，输出稳定
    "top_p": 0.85,
    "stream": False
}
resp = requests.post(
    "http://127.0.0.1:8080/v1/chat/completions",
    json=payload,
    timeout=7200
)

关键参数：

temperature: 0.2 — 低温度，每次输出结构稳定
stream: False — 非流式，等完整结果再返回
timeout: 7200 — 2 小时超时，大文档慢慢跑
每个文档处理完，KV cache 自动释放，下一个文档拿到干净的 GPU

给 AI 的一键配置 Prompt

我有 AMD RX 7900 XTX 24GB 显卡，用 llama.cpp HIP 版跑 Qwen3.8-27B 本地模型。请帮我配置：

start.bat 参数：-ngl 99 -fa on --no-mmap --cache-type-k q4_0 --cache-type-v q4_0 --parallel 1 -b 512 -ub 256 --verbose --host 0.0.0.0 --port 8080

Obsidian Copilot data.json：contextTurns=0, activeBackend=chat, enableSavedMemory=false, enableRecentConversations=false, enableLexicalBoosts=false, enableAutonomousAgent=false, docProcessorBackend=""

解释每个参数的作用

验证方法：看 llama-server 终端日志的 total time 和 prompt_tokens 是否恒定

这样别人把上面这段发给 AI，就能自动完成整个配置流程。

抡锤者