链接速度太感人了，PCIE 3.0 X8只有8GT/S：

vllm始终不理想也不习惯,sglang也未测试。那就还是只有llama.cpp，
直接跑是跑不起来的，有几个错误，意思nccl不兼容。让deepseek调研之后，发现CSDN一个文章（https://blog.csdn.net/weixin_42431643/article/details/163023731 ），把llama.cpp丢到镜像里面来跑本机GGUF。按它的方法自建了镜像，启动容器，果然不报错了，推理的时候两张显卡都能高负载运行。

以下工程是让它写超级玛丽的HTML5游戏。

220K 双F16 上下文，显卡还各余了3-4G，有点浪费了。

中途做到一半停住了，说没有多模态，让它跳过也不跳，弹出网页截了一下图，游戏还是挺多问题的。

正常解码速度，50-70K (代码会快一点） prefill不理想，35B A3B用buun 分支，基本都是1500++。 这个是官方最新版llama.cpp, 偶尔会有几十t/s的prefill.