R9700到货，AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功！

[wml-ai]

@densha 估计不会一直运行大模型，感觉线上模型能力更强一些，比如deepseek-v4-flash。

[Eric Xiao]

MTP最大猜3个token，你现在tokens速度多块

[wml-ai]

今天下午又编译了一次 Vulkan 版本的 llama.cpp，做了简单的测试，和ROCm版对比，各有千秋吧，相差不大。但是意外发现，运行Vulkan版的本地模型比ROCm版的功耗要低。

Vulkan版测试结果：

ROCm版的测试结果：

加载ROCm版模型时的功耗（未执行任务）：

加载Vulkan版模型时的功耗（未执行任务）：

执行任务时，Vulkan版也比ROCm版的温度、功耗要低，风扇转速也稍低一些。更重要的是，Vulkan版出结果更快，GPU运行一会儿功耗就下来了，而ROCm版的会运行很久，风扇狂转。

[sospda]

上MTP版本， Q4KM ，直接上50t/s ， 提速明显

[wml-ai]

@sospda 也测试了使用MTP的情况（简单测试没有使用长文档输入测试），MTP确实有明显提升，而且依然是Vulkan比ROCm快，不过没有到50t/s，但是日常使用完全够了，体验不差。

现在日常使用就是Vulkan+MTP，功耗还低，风扇噪音较小，比较满意了。

[linghu007]

兄弟，你这套配下来多少钱啊？
图是我准备配的配置。主要是考虑DDR4升级便宜些。CUP缓存大256M。电源大是因为将来顺便升级双显卡。

[williamlouis]

@linghu007 显卡涨价了。

[linghu007]

@williamlouis 显卡日常价格就是10900，现在618奸商搞的。但我看了下CUP和内存反而降了，不过我看的是二手。显卡才是新的。

[williamlouis]

我们只能接受。生产力需要就入手。没项目就等等。

[wml-ai]

@linghu007 总体价格和你的差不多，但是性价比没你的高。