抡锤者

tutu

火狐截图_2026-10-24T09-54-54.506Z.png
为了传个图片还绑定了个邮箱，，也不知道你怎么就找不到

tutu

@Prio 你在autodl 西北区能看到3090 48g的机器，4090 48g也是最开始在这个平台上架的，后来才流出来的vbios，只要有早晚就会流出来

tutu

其实 3090 真正牛逼的是可以改 48g ，另外 3090 的 int8 tensor 算力没砍，博主的数据在 int8 上有误

精度 RTX 3090 RTX A6000 比值
INT8 (dense) 142 TOPS 308 TOPS 2.17x 实际 3090int8 算力是 284
BF16 71 TFLOPS 154.7 TFLOPS 2.18x

本人用 3090ti nvlink 使用 sglang 跑 qwen3.8-27b w8a8-int8 prefill 短上下文最快 7000t/s ，20k 上下文也能做到 5000 多 t/s

tutu

我刚刚入手了2个3090ti水神 +3槽nvlink，一共花了18000，主板用的技嘉z490 aorus pro ax 支持pcie x8 +x8 价格还可以，之前用它带2080ti 22g nvlink，听站长整天bb sglang多好，我也就搞了一个，个人觉得nvlink价值比换主板高，尤其是现在，只要有nvlink，哪怕x1的接口影响都不大

tutu

配置如下：

cpu i5-10600k
主板 Z490 arous pro ax
内存 16+8+16+8 共48G
显卡 RTX2080ti 22G x2 nvlink （300瓦bios水冷）

推理框架：自编译llama.cpp docker镜像(官方镜像不支持nccl通信)
dockerfile

# syntax=docker/dockerfile:1
# CUDA 13.0.3 + NCCL build for RTX 2080 Ti (SM 75) / llama.cpp tensor parallelism

ARG CUDA_VERSION=13.0.3
ARG UBUNTU_VERSION=24.04
ARG LLAMA_CPP_REF=b10362

FROM nvidia/cuda:${CUDA_VERSION}-devel-ubuntu${UBUNTU_VERSION} AS build

ARG LLAMA_CPP_REF
ARG CUDA_ARCH=75
ARG BUILD_JOBS=4

ENV DEBIAN_FRONTEND=noninteractive \
    CC=gcc-13 \
    CXX=g++-13 \
    CUDAHOSTCXX=g++-13

# The CUDA Ubuntu repository in the NVIDIA CUDA base image supplies libnccl-dev.
RUN apt-get update && apt-get install -y --no-install-recommends \
        ca-certificates git cmake make \
        gcc-13 g++-13 \
        libnccl-dev \
    && rm -rf /var/lib/apt/lists/*

WORKDIR /src
RUN git clone --depth 1 --branch "${LLAMA_CPP_REF}" https://github.com/ggml-org/llama.cpp.git .

RUN cmake -S . -B build \
        -DCMAKE_BUILD_TYPE=Release \
        -DCMAKE_CUDA_ARCHITECTURES=${CUDA_ARCH} \
        -DGGML_NATIVE=OFF \
        -DGGML_CUDA=ON \
        -DGGML_CUDA_NCCL=ON \
        -DGGML_BACKEND_DL=ON \
        -DLLAMA_BUILD_TESTS=OFF \
        -DLLAMA_BUILD_EXAMPLES=ON \
    # CMake's install manifest includes the enabled example binaries.  Build all
    # enabled targets before installing, rather than just llama-server.
    && cmake --build build -j${BUILD_JOBS} \
    && cmake --install build --prefix /opt/llama

# The user has the CUDA devel image locally, so use it as the runtime base too.
# Change this to nvidia/cuda:${CUDA_VERSION}-runtime-ubuntu${UBUNTU_VERSION}
# once that runtime image is available locally.
FROM nvidia/cuda:${CUDA_VERSION}-devel-ubuntu${UBUNTU_VERSION} AS server

ENV DEBIAN_FRONTEND=noninteractive \
    LLAMA_ARG_HOST=0.0.0.0 \
    LD_LIBRARY_PATH=/opt/llama/lib:${LD_LIBRARY_PATH}

RUN apt-get update && apt-get install -y --no-install-recommends \
        ca-certificates curl libgomp1 libnccl2 \
    && rm -rf /var/lib/apt/lists/*

COPY --from=build /opt/llama /opt/llama
RUN ldconfig \
    && ldd /opt/llama/bin/llama-server | grep -E 'nccl|not found' || true

WORKDIR /opt/llama
EXPOSE 8080
HEALTHCHECK --interval=30s --timeout=5s --start-period=30s --retries=3 \
    CMD curl -fsS http://localhost:8080/health || exit 1

ENTRYPOINT ["/opt/llama/bin/llama-server"]

 docker build --no-cache --progress=plain   -f Dockerfile.llama-cpp-cuda130-nccl   -t llama.cpp:cuda13.0.3-nccl-sm75   --build-arg LLAMA_CPP_REF=master   --build-arg CUDA_ARCH=75   --build-arg BUILD_JOBS=4 .

-m /models/Qwen3.8-27B.Q6_K.gguf --alias Qwen3.8-27B -mm /models/Qwen3.8-27B.mmproj-q8_0.gguf --host 0.0.0.0 --port 8080  --fit off  -c 262144 -np 2 -ngl -1 --threads 6 --threads-batch 12 --split-mode tensor --flash-attn on --spec-type draft-mtp --spec-draft-n-max 3 --no-context-shift --jinja --cache-type-k q8_0 --cache-type-v q8_0 -cram 12288 -ctxcp 32 -kvu --temp 0.6 --top-p 0.5 --top-k 15 --chat-template-kwargs "{\"enable_thinking\":true,\"preserve_thinking\":false,\"reasoning_effort\":\"medium\"}" --api-key xxxx --no-ui

2080 Ti 22GB ×2 性能测试

并发数：1｜超时：30s

提示词长度预填充耗时预填充速度输出长度输出耗时输出速度
2,048 tokens 2,266.30 ms 903.68 tokens/s 512 tokens 8,504.73 ms 60.20 tokens/s
4,096 tokens 4,151.52 ms 986.63 tokens/s 512 tokens 7,855.27 ms 65.18 tokens/s
6,144 tokens 6,126.74 ms 1,002.82 tokens/s 512 tokens 8,005.43 ms 63.96 tokens/s
8,192 tokens 8,136.60 ms 1,006.81 tokens/s 512 tokens 8,021.08 ms 63.83 tokens/s
10,240 tokens 10,208.45 ms 1,003.09 tokens/s 512 tokens 6,271.73 ms 81.64 tokens/s

所有测试均为 1/1 并发成功。

总体性能
**预填充吞吐范围：**903.68～1,006.81 tokens/s
**输出吞吐范围：**60.20～81.64 tokens/s
**平均预填充吞吐：**980.61 tokens/s
**平均输出吞吐：**66.96 tokens/s

2080 Ti 22GB ×2 性能测试

并发数：2｜超时：30s

提示词长度预填充耗时总预填充速度输出长度输出耗时总输出速度
2,048 tokens 3,852.35 ms 1,063.25 tokens/s 512 tokens 12,374.84 ms 82.75 tokens/s
4,096 tokens 7,779.40 ms 1,053.04 tokens/s 512 tokens 13,557.93 ms 75.53 tokens/s
6,144 tokens 12,875.19 ms 954.39 tokens/s 512 tokens 12,327.89 ms 83.06 tokens/s
8,192 tokens 17,385.96 ms 942.37 tokens/s 512 tokens 13,142.39 ms 77.92 tokens/s
10,240 tokens 14,149.75 ms 1,447.38 tokens/s 512 tokens 16,787.24 ms 61.00 tokens/s

所有测试均为 2/2 并发成功。

总体性能
**总预填充吞吐范围：**942.37～1,447.38 tokens/s
**总输出吞吐范围：**61.00～83.06 tokens/s
**平均总预填充吞吐：**1,092.09 tokens/s
**平均总输出吞吐：**76.05 tokens/s

tutu

我也在我的飞牛上部署了，感觉在飞牛app里面用挺方便

tutu

看看这个项目，我实测qwen3.6-27b fp8 k8v4的kvcache 可以到230k的上下文，mtp 3支持多模态，prefill可以1800+ t/s decode 70+ t/s

我实测使用llamc.cpp 启用nccl的情况下跑qwen3.6-27b q6 q8的kvcahce 可以到400k的上下文池，np为2 mtp 3 prefiil可以到1000t/s , decode可以60t/s

tutu

感觉3080 12g性价比会比3070好一些，建议换这个

tutu

@nano
内存16Gx2现在闲鱼价格也得800，内存必须加
建议把4060ti卖了，换7900xtx或者3090，显存可太重要了。
cpu换个带核显的，考虑极致的性价比我建议直接买modt平台板U套装，从11代处理器开始支持vnni 跑向量化和重排序模型cpu就够了，提醒一下模型用int8 的，
gpu满载时桌面操作都卡卡的，因此核显对体验提升很明显，如果用linux命令行的系统，核显依然可以跑个向量化，比如我用的11800h，32eu的核显跑个qwen3-0.8b的向量化还是挺快的，重排序我直接交给cpu，这样我的3090就能放更多的上下文。
你可以参考一下我的贴子https://lcz.me/topic/220/我的ai硬件方案分享/6

tutu

非要r9700这个卡吗，两个3090也挺好的，这个价格你也可以等等新款macmini m5 pro的芯片的，我是强烈建议苹果m5生态，毕竟噪音和功耗决定你是否想用和敢用

tutu

可以的，现在闲鱼上卖的太花了，大模型部署标价1.99，搞得好像大模型部署和优化是个人都会似的

tutu

@ezios
2个2080ti 22g可以跑q8或者w8a8以及w8a16的模型，显存是够的，上下文能64k以上，压缩上下文可以到128k
速度方面用27b优化的好也就20t/s，所以我更建议用35b

tutu

@lxbs
机器1：待机70瓦，满载800瓦
机器2：待机80瓦，满载650瓦
机器3：待机45瓦，满载80瓦
网络结构：入户电信千兆宽带，2.5g光猫接
r66s软路由接
双2.5g口的wifi7 AP 接
4口2.5g+2口万兆sfp+交换机接
机器1，2，3
平时用智能插座配合主板上电自动开机使用，我的宽带有公网IP，配置端口转发后可以随时登录不用了就关机，用不上万兆

tutu

机器1：模型推理机
CPU：i5-10600K
主板：技嘉z490 auros pro ax
内存：16+8+8+16
硬盘：东芝xg3 512g + 镁光5100pro 960g
显卡：RTX2080ti 22G X2 nvlink
电源：鑫谷gm1250 atx3.0

机器2：模型+智能体混合机
CPU：i7-11800H
主板：铭瑄11800H板U
内存：32+32
硬盘：三星970pro 512g + 英特尔s3610 800G
显卡：RTX3090
电源：先马xp1000 V3

机器3：飞牛存储服务器
CPU：i7-7700
主板：华硕b150m-plus-d3
内存：8+8+8+8
硬盘：三星sm961 256g + 东芝mg08 8Tx2 + 西数紫盘4Tx2
电源：鑫谷gp700G 黑金全模组
网卡：扩展rtl8125网卡

部署情况
机器1：gpustack ，（qwen3.6-35b-a3b，qwen3-embedding，qwen3-rerank）常驻，ragflow，obsidian
机器2：1panel，gpustack，（qwen3.6-27b，comfy-ui ）按需，harmes以及杂七杂八的容器

抡锤者

tutu

帖子