抡锤者

zhoule feng

为什么会使用ssh来构建连接呢，因为官方给的方式有太多bug，通过rc_tunnel来创建隧道连接，虽然可以映射到公网，但容易卡在创建隧洞的时候（可能后面会有优化）。

同理为什么不用vllm api的方式来实现，试过了不使用runtime profile中的openai，必要组件加载会失败；如果使用了，template无法创建或着保存。期待他后面优化。

1、创建template

2、创建ssh密钥
执行下面代码, 里面怎么方便怎么来：

ssh-keygen -t ed25519 -C "[email protected]"
cat ~/.ssh/id_ed25519.pub

然后在你的用户本地会有一个id_ed25519.pub和id_ed25519，打开pub的文件复制到下面的公钥地方：

这个时候就配置好ssh的连接密钥了
3、执行实例并配置ssh环境

3.1先查找对应的sshd服务

ps aux | grep '[s]shd'

通常第一个就是sshd服务的主进程，端口号是406，输入下面的命令：

/usr/sbin/sshd -T -f /tmp/amd-oneclick-sshd_config | \
grep -Ei 'allowtcpforwarding|disableforwarding|permitopen'

通常这个/tmp/amd-oneclick-sshd_config是你要检查的sshd文件，通常allowtcpforwarding是no，如果是yes，可能你找错文件也有可能之前配置过。

3.2 通过修改sshd服务来使用服务器可以通过tcp协议来转发数据
首先先备份原有数据：

cp /tmp/amd-oneclick-sshd_config /tmp/amd-oneclick-sshd_config.bak

其次才是修改文件：

sed -i 's/^[[:space:]]*AllowTcpForwarding[[:space:]].*/AllowTcpForwarding yes/' \
  /tmp/amd-oneclick-sshd_config （这里替换自己的文件）

// 检查语法：
/usr/sbin/sshd -t -f /tmp/amd-oneclick-sshd_config

重新启动sshd文件的服务，通常重启后会自己重新启动的。

kill -HUP 406 //(服务的端口号)

3.3 检测ssh环境是否正常配置

自己复制对应的命令，然后打开powershell来进行连接这部分比较简单，可能会有一些密钥文件不是独占的，这个运行下面的代码给密钥修改一下对应的权限：

icacls "$env:USERPROFILE\.ssh\id_ed25519" /inheritance:r
icacls "$env:USERPROFILE\.ssh\id_ed25519" /remove "Everyone"
icacls "$env:USERPROFILE\.ssh\id_ed25519" /grant:r "${env:USERNAME}:(R)"

4、下载qwen3.8-27B，并通过ssh来转发数据
镜像里面自带了huggingface库，执行下面的代码：

// 创建文件目录
mkdir -p ./models/Qwen3.8-27B

// 下载模型
hf download \
    ggml-org/Qwen3.8-27B-GGUF \
    Qwen3.8-27B-Q4_K_M.gguf \
    --local-dir ./models/Qwen3.8-27B

然后使用llama.cpp来加载模型，（/llamacpp_workspace/bin/llama-server）是对应llama.cpp的路径：

/llamacpp_workspace/bin/llama-server \
  -m /workspace/models/Qwen3.8-27B/Qwen3.8-27B-Q4_K_M.gguf \
  -ngl 999 \
  --host 127.0.0.1 \
  --port 8000

确认自己的模型正常加载和启动后：

curl http://127.0.0.1:8000/v1/models

在你的主机上ssh连接服务，例如：

ssh -N -L 18000:127.0.0.1:8000 [email protected] -p 33946 -o ServerAliveInterval=30 -o ServerAliveCountMax=3 -o TCPKeepAlive=yes

然后127.0.0.1:18000就是你映射好的地址

测试完成发现实际256K上下文，大致的解码速度为20-30 tokens/s。

抡锤者

zhoule feng

帖子