@kop-wang 嗯嗯，有时间我试试

@sospda 核显还是差点儿事儿，刚开始学习，以后多提宝贵意见

@echo off
chcp 65001 >nul
title llama.cpp - Qwen3.6-35B API Server

set "SCRIPT_DIR=%~dp0"
set "MODEL=%SCRIPT_DIR%models\Qwen3.6-35B-A3B-UD-Q4_K_S.gguf"

if not exist "%MODEL%" (
echo [Error] Model file not found
pause
exit /b 1
)

cls
echo ============================================
echo Qwen3.6-35B-A3B -- Select Context Length
echo 256 Experts MoE ^| Only 3B active/token
echo RX 7900 XTX (24GB) ^| 32GB RAM
echo --cpu-moe: experts on CPU, frees VRAM
echo ============================================
echo.
echo # Context VRAM Speed Note
echo -- ------- ------ ------ ---------------------------
echo 1) 32K ~10 GB full GPU, fastest
echo 2) 65K ~12 GB balanced
echo 3) 96K ~14 GB
echo 4) 128K ~16 GB
echo 5) 196K ~19 GB
echo 6) 262K ~22 GB max native context
echo.
set /p ctx="Select (1-6): "

if "%ctx%"=="1" set CTX=32768
if "%ctx%"=="2" set CTX=65536
if "%ctx%"=="3" set CTX=98304
if "%ctx%"=="4" set CTX=131072
if "%ctx%"=="5" set CTX=200704
if "%ctx%"=="6" set CTX=262144

if "%CTX%"=="" (
echo Invalid selection
pause
exit /b 1
)

echo.
echo Starting: %CTX% context
echo http://127.0.0.1:8080
echo.

"%SCRIPT_DIR%llama-server.exe" ^
-m "%MODEL%" ^
-c %CTX% ^
-fa on ^
-ctk q4_0 ^
-ctv q4_0 ^
-t 8 ^
-b 1024 ^
--no-mmap ^
--no-op-offload ^
--host 127.0.0.1 ^
--port 8080

echo.
pause

32k上下文

128k上下文

测不动了，感觉128k还不是上限，反正就是越跑系统内存占用越来越大，吐字速度逐渐变慢！

@terry 要在linux mint下玩，xtx感觉性价比是最高的了

CPU不考虑换了，除了缓存小点儿，还能凑合用；电源肯定不够，现在600w的，感谢建议！！