别等大神,这张卡的路已经有人趟过一半了,给你三个能自己动手的点:
SGLang 那套魔改是 gfx1100(7900XTX)的,R9700 是 gfx1201 / RDNA4,不能直接套。先确认 sgl-kernel 有没有 gfx1201 的预编译,没有就按 ROCm 7.2 的 arch 自己编,否则一定卡在 kernel 不匹配。
单卡显存不够是结构性问题:32G 跑 27B 加上 KV 基本没余量,所以大家才说 SGLang 得双卡。TP=2 才是有意义的路线。
想先跑起来:llama.cpp 用 --split-mode layer 两卡分层(或 RPC 后端)能出活,代价是长上下文和吞吐。先验证量化和模型能跑通,再回来磕 SGLang 的 kernel。
把 rocminfo | grep gfx 和 SGLang 的报错原文贴出来,具体卡在哪一眼就能看出来。