AMD AI Pro R9700 LLM调教

[用户名违规]

@fcme PP不知道150K上下文速度能打50t/s，200k的上下文时候大概也是在50t/s,这个有mtp。如果不开MTP稳定100K内31t/s，超过150k 27t/s的样子。速度不能和云API对比

[fcme]

@倭寇国を滅ぼす
使用来讲的话，TP25 或者以上就挺不错的了。

但是因为 Agent 里应用的那个系统提示词啊，和来回工具调用的那个上下文很长，所以 PP 才是最最关键的。那个如果 PP 慢了的话，等消息简直等到天荒地老。

[iamvirus]

再买一张组tp=2 的vllm体验会很丝滑

[用户名违规]

@fcme PP怎么测试，sglang ，prefill每次16K或者8K，prefill beth在1000-1400t/s，说的是这个吗？

[fcme]

@iamvirus
我的是R9700说是有个什么vllm不支持，就很恶心，速度比llamacpp vulkan都不如。开启wmma后用MoE直接起飞！

[fcme]

@倭寇国を滅ぼす
用agent啊，做个测试脚本，每次服务拉起来了跑一遍脚本就有了。

[用户名违规]

@fcme 我意思是你指的PP具体是什么，是那个PP512 1024 2048吗？

[fcme]

@倭寇国を滅ぼす
哦 不是，pp 是 prompt processing，就是那个prefill所谓输入的预处理。可以理解为是输入token处理速度。

[linkdesu]

https://kyuz0.github.io/amd-r9700-ai-toolboxes/index.html 这里有个双 9700 在不同驱动下的 benchmark ，希望也能有帮助

[Luke Mao]

@fcme 能否详细讲讲这个wmma部署，谢谢！

[fcme]

@linkdesu
谢谢，我之前就是看的这个，受到的启发，现在已经基本上稳定了。

[fcme]

@Luke-Mao
其实也没什么，你就让Hermes帮你重新编译llamacpp就可以了。编译的过程当中开启WMMA，之后是用系统原生服务跑还是docker跑都可以。效果没差。