谢谢你的建议。不过是怎么知道 dgx spark 不适合跑稠密模型？还请大神赐点高建。

这是我的 podman 配置：

name: edgeexpert-reasoning

services:
  reasoning-vlm:
    image: ${REASONING_VLLM_IMAGE:-vllm/vllm-openai:latest}
    container_name: edgeexpert-reasoning-vlm
    restart: unless-stopped
    gpus: all
    ipc: host
    ports:
      - "${BIND_ADDRESS:-0.0.0.0}:8000:8000"
    environment:
      HF_TOKEN: ${HF_TOKEN:?Set HF_TOKEN in the .env file}
      VLLM_API_KEY: ${VLLM_API_KEY:?Set VLLM_API_KEY in the .env file}
    volumes:
      - ${HF_CACHE_DIR:-/home/koo/.cache/huggingface}:/root/.cache/huggingface
    command:
      - ${REASONING_MODEL:-nvidia/Qwen3.6-35B-A3B-NVFP4}
      - --served-model-name
      - ${REASONING_SERVED_MODEL_NAME:-nvidia/Qwen3.6-35B-A3B-NVFP4}
      - --host
      - "0.0.0.0"
      - --port
      - "8000"
      - --tensor-parallel-size
      - "1"
      - --trust-remote-code
      - --kv-cache-dtype
      - fp8
      - --attention-backend
      - flashinfer
      - --moe-backend
      - marlin
      - --gpu-memory-utilization
      - ${REASONING_GPU_MEMORY_UTILIZATION:-0.4}
      - --max-model-len
      - "262144"
      - --max-num-seqs
      - ${REASONING_MAX_NUM_SEQS:-8}
      - --max-num-batched-tokens
      - "8192"
      - --enable-chunked-prefill
      - --async-scheduling
      - --enable-prefix-caching
      - --speculative-config
      - '{"method":"mtp","num_speculative_tokens":3,"moe_backend":"triton"}'
      - --load-format
      - fastsafetensors
      - --reasoning-parser
      - qwen3
      - --tool-call-parser
      - qwen3_xml
      - --enable-auto-tool-choice

    healthcheck:
      test:
        - CMD-SHELL
        - >-
          python3 -c "import urllib.request;
          urllib.request.urlopen('http://127.0.0.1:8000/health', timeout=5)"

      interval: 30m
      timeout: 10s
      retries: 3
      start_period: 30m

还没用过 ornith-ai/Ornith-1.5-35B-A3B。请问有谁用过这个吗？

@chrestkoo-dev said:

DGX Spark - MSI Edgexpert

打算使用单机跑 Qwen3.8。可以参考配置如下：

DGX Spark 128GB Bandwidth 273.2 GB/s
RTX 5050 8GB Bandwidth 320.0 GB/s
RTX 5060 Ti 16GB Bandwidth 448.0 GB/s
AMD RX7900 XTX 24GB Bandwidth 960.0 GB/s
RTX 5070 Ti 16GB Bandwidth 896.0 GB/s
RTX Pro 5000 48GB Bandwidth 1340 GB/s
RTX 5090 Bandwidth 1790 GB/s

DGX Spark 大概要再買第二台 速度表現才會到達能用的程度 (你可以參考雙機器的速度)
這機子剛出來的時候研究過 基本上是為了微調LLM使用的

有一種解套的方式就是跑Qwen3.6-35B-A3B 試看看 但不知道夠聰明不 能否應付Agent的場景 ？

或用這一個 ornith-ai/Ornith-1.5-35B-A3B 高精度 這個效果可能更好
https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B

1. vLLM 为什么慢
Qwen3.8-27B 是 Mamba 混合架构（SSM + attention 并存），vLLM 对混合架构的 fused kernel 支持不成熟，跑起来会落慢路径，速度完全没法看。这是框架问题，换谁都一样。

2. 正确姿势：SGLang 按 cookbook 参数跑

• 量化用 NVFP4-FP4-head：27B 权重约 14GB，128G 统一内存随便塞，还能留足长上下文；
• --spec-algorithm dflash（就是链接里 spec=dflash，混合架构的融合 attention 路径）；
• --ssm-dtype bfloat16（Mamba 部分精度，跟 cookbook 保持一致）；
• 单机 single node + low-latency tier 的其它参数照抄。

3. Hermes 接入
SGLang 起的就是 OpenAI 兼容端点。Hermes 里配一个 OpenAI-compatible provider，base_url 指到 SGLang 端口（默认 8000），模型名填 qwen3.8-27B。max_tokens 设大（16K+），本地模型别用小窗口。

4. 备选
SGLang 装起来费劲的话，llama.cpp 跑 UD-Q5_K_XL 的 GGUF（约 16GB）在 DGX Spark 上也能跑，速度比 DFLASH 档慢一些但胜在稳，Hermes 同样走 OpenAI 兼容端点。

5. 小提示
cookbook 的 variant=default 参数要和你的 SGLang 版本对得上，先原样跑通确认能出数，再动 variant 调优。另外 MSI Edgexpert 是管理/监控那层，不参与模型推理，不用管它。