<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[装备秀]]></title><description><![CDATA[展示自己的硬件设备，电脑，显卡，服务器，笔记本，小主机等，可以整体展示，可以单设备多角度展示。]]></description><link>https://lcz.me/category/16</link><generator>RSS for Node</generator><lastBuildDate>Mon, 12 Oct 2026 11:22:57 GMT</lastBuildDate><atom:link href="https://lcz.me/category/16.rss" rel="self" type="application/rss+xml"/><pubDate>Sun, 11 Oct 2026 14:36:29 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[听听大家的建议，还有什么装备可以升级的]]></title><description><![CDATA[
@stxpnet 说:
在给3090各加了一块铝片,上面放两个10CM 机箱风扇往上抽热风.

是准备背板增加散热吗？
]]></description><link>https://lcz.me/topic/2269</link><guid isPermaLink="true">https://lcz.me/topic/2269</guid><dc:creator><![CDATA[XIUNAN ZHI]]></dc:creator><pubDate>Sun, 11 Oct 2026 14:36:29 GMT</pubDate></item><item><title><![CDATA[颜值党也来新版块凑凑热闹，展现下我的几台工作机]]></title><description><![CDATA[@terry 我看了下还有不少配色的，你可以去挑一下
]]></description><link>https://lcz.me/topic/2265</link><guid isPermaLink="true">https://lcz.me/topic/2265</guid><dc:creator><![CDATA[Nero丶畅畅]]></dc:creator><pubDate>Sun, 11 Oct 2026 10:56:02 GMT</pubDate></item><item><title><![CDATA[跟你们一比我就像个乞丐]]></title><description><![CDATA[
@exllm 说:
@J-xu 试试 时序 19/20-23-23-44/45
2933 速度 ～33G/s
3200 速度 ～38G/s

大佬，请问电压给多少？
]]></description><link>https://lcz.me/topic/2255</link><guid isPermaLink="true">https://lcz.me/topic/2255</guid><dc:creator><![CDATA[J xu]]></dc:creator><pubDate>Sat, 10 Oct 2026 16:22:04 GMT</pubDate></item><item><title><![CDATA[大佬都在秀肌肉，翻车现场这种群众喜闻乐见的文化娱乐形式就让我来吧]]></title><description><![CDATA[@terry
老特的认可含金量好高的
]]></description><link>https://lcz.me/topic/2245</link><guid isPermaLink="true">https://lcz.me/topic/2245</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Sat, 10 Oct 2026 06:38:43 GMT</pubDate></item><item><title><![CDATA[整天倒腾，重建重建重建，但锤哥号召就要积极响应]]></title><description><![CDATA[夏天换地方哈哈，现在飘窗，厚窗帘，那屋给他吧，我去隔壁遥他，跑着的卡36度，闲着的卡21度
]]></description><link>https://lcz.me/topic/2222</link><guid isPermaLink="true">https://lcz.me/topic/2222</guid><dc:creator><![CDATA[范志刚]]></dc:creator><pubDate>Fri, 09 Oct 2026 13:12:43 GMT</pubDate></item><item><title><![CDATA[秀一下我的装备，某保密机关ai本地主机]]></title><description><![CDATA[看到最新一期的老特说，老师说我眼泪掉下来，全程用CODEX部署，兄弟们说的多卡方案，包括deepseek等我都理解，但是目前我只能跑单卡，因为并发非常高，可能超过20个并发，而且是多人办公场景，不是一般问答， 所以智能TP1走单卡推理跑7副本的27B和一张卡单独OCR跑的paddle 1.6vl（ocr需求很大所以单独一张卡）一下是当前我的配置参数，希望有大神能指点一下：
以下是 2026-10-10 最后部署、读回并保存的配置。当前离开服务器局域网，没有重新连接服务器；以下不是实时状态。连接地址、账户、API 密钥和 GPU UUID 均已省略。
硬件与软件

Ubuntu 24.04.3，NVIDIA 驱动 580.178.04。
双路 AMD EPYC 7443，合计 96 逻辑 CPU；安装内存约 512GB。
8 × RTX 4090D 48GB 改装卡；每卡 nvidia-smi 显存总量 49140 MiB，requested/enforced 功耗上限均为 350W。
Docker Linux amd64 部署，每个 LLM 容器只绑定一张物理卡，shm_size=8gb。七份独立模型副本，TP=1；不是七卡 TP=7。
SGLang 0.5.21，固定源码 commit：e00930c5489053f26d86b179cee0d087f846acbb，固定镜像 CUDA 13.0.3。
上游镜像标识 lmsysorg/sglang:v0.5.21；实际固定来源为 docker.io/lmsysorg/sglang@sha256:b1259f3ea3275f66237c498ea388919729018bc9f01c3d638391e06e2cf3f469。本地加载标签为 llm-inference/sglang:prepared-20261003。
模型：cyankiwi/Qwen3.8-27B-AWQ-INT4；revision：6e134bae811fb5adac50ee042ae5f029ac6779aa。
checkpoint 实际为 compressed-tensors / pack-quantized，W4A16、INT4 权重、group size 32、非对称量化；运行 dtype=BF16。不能仅根据 AWQ 仓库名把加载参数改写成 awq 或 awq_marlin。
checkpoint 自带一层原生 MTP；draft 路径与主模型相同。相关 MTP 线性权重在 INT4 量化的 ignore 清单中，不能描述为全模型 INT4 或全模型 BF16。

卡片分配与关键差异
GPU0–5 是六个普通 128K 副本，通过网关分配请求。GPU6 是独立的 256K 服务，只有获管理员授权并在当前对话打开 256K 的账户使用；不加入普通网关轮询。GPU7 独立运行 OCR，不参与 LLM 的 TP 或 MTP。



参数
普通 GPU0–5
长上下文 GPU6




tensor-parallel-size
1
1


context-length
131072
262144


SGLANG_MAX_NEW_TOKENS_LIMIT
32768
65536


max-running-requests
4
1


max-total-tokens：配置目标
262144
262144


实际 KV token pool：代表卡运行读回
GPU0：186700
262144


mem-fraction-static
0.88
0.93


cuda-graph-max-bs-decode
4
1


max-mamba-cache-size
20
6


代表卡实际 KV 池显存
GPU0：11.395 GiB
16.000 GiB


代表卡短题期间常驻显存
GPU0：40631 MiB
42225 MiB



上下文是输入、思考和最终回答的合计预算。32K／64K 是最大输出预算，包含思考，并不保证每次都输出这么多。普通卡的 4 个运行槽位不代表能同时容纳 4 个完整 128K 请求；配置 max-total-tokens=262144 也不能替代实际分配的 token pool 数值。
普通 128K 实例实际启动参数
每个普通容器分别运行以下命令。LLM_API_KEY 为私有环境变量，这里没有给出其值。
export SGLANG_MAX_NEW_TOKENS_LIMIT=32768

python3 -m sglang.launch_server \
  --model-path /models/Qwen3.8-27B-AWQ-INT4 \
  --served-model-name Qwen3.8-27B-AWQ-INT4 \
  --host 0.0.0.0 --port 30000 \
  --tensor-parallel-size 1 \
  --dtype bfloat16 \
  --kv-cache-dtype auto \
  --context-length 131072 \
  --max-running-requests 4 \
  --max-total-tokens 262144 \
  --mem-fraction-static 0.88 \
  --chunked-prefill-size 2048 \
  --prefill-decode-interval 1 \
  --cuda-graph-max-bs-decode 4 \
  --max-mamba-cache-size 20 \
  --mamba-ssm-dtype float32 \
  --attention-backend triton \
  --quantization compressed-tensors \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --log-level warning \
  --api-key "$LLM_API_KEY" \
  --enable-metrics \
  --speculative-algorithm EAGLE \
  --speculative-draft-model-path /models/Qwen3.8-27B-AWQ-INT4 \
  --speculative-num-steps 1 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 2 \
  --speculative-draft-attention-backend triton \
  --mamba-radix-cache-strategy extra_buffer

其他容器环境：HF_HUB_OFFLINE=1、TRANSFORMERS_OFFLINE=1、HF_HOME=/cache/huggingface、OMP_NUM_THREADS=2、TOKENIZERS_PARALLELISM=false。模型目录只读挂载，各容器有独立缓存目录。
GPU6 的 256K 实例
与上面的普通启动参数相同，只有下面六项变化；其余参数，包括 served model name、主／draft 路径、精度和 MTP 参数都保持相同。该实例在独立容器中运行，不与普通实例占用同一卡。
SGLANG_MAX_NEW_TOKENS_LIMIT=65536
--context-length 262144
--max-running-requests 1
--mem-fraction-static 0.93
--cuda-graph-max-bs-decode 1
--max-mamba-cache-size 6

两类服务 kv-cache-dtype=auto 实际采用 BF16，Mamba SSM 状态为 float32，没有使用 FP8 KV。CUDA graph 没有禁用（运行读回 disable_cuda_graph=false）；LLM 未启用 mixed-chunk。GPU6 保存的 CUDA graph 分配记录包含 target verify 0.105GiB、draft extend 0.002GiB；1 step 下 draft decode 记录为 0。分配记录不能证明每一步都成功 replay，也不能把 draft decode=0 单独当成未启用 CUDA graph 的证据。
第八卡 OCR，仅供了解是否有资源干扰
GPU7 使用 SGLang 运行 PaddleOCR-VL-1.6-0.9B，TP1、BF16、context=16384、max-running-requests=32、max-queued-requests=128、max-total-tokens=524288、mem-fraction-static=0.68、chunked-prefill-size=8192、max-prefill-tokens=16384、enable-mixed-chunk、num-continuous-decode-steps=2、cuda-graph-max-bs-decode=32、attention-backend=triton、mm-attention-backend=triton_attn、mm-processor-worker-num=2。另有 4 个完整文档解析管线绑定同一 GPU7，文档级并发 4。OCR 没有启用本次 LLM 的 MTP。
测量方式与已观察现象
原网页用“字符数÷4”估计 token，中文速度因此明显低估。现已改为服务端真实累计 usage token 和单调时钟计量，包含思考、正文及工具参数；输出速度不包含首字等待和工具执行。不能拿旧网页的 20 多或 10 t/s 直接当作原生解码吞吐。
直接推理同题对照：关闭思考（reasoning_effort=none），temperature=0，max_tokens=2048，串行单请求，各卡 1 次预热后 3 次正式样本。每个请求使用不同 cache_salt，不清空缓存、不重启服务、不强制忽略 EOS。所有请求实际输入 118 tokens、输出 450 tokens，均正常 stop。



直接推理正式样本中位数
GPU0：128K
GPU6：256K




首末真实累计 token 增量／输出窗口
62.453 t/s
62.485 t/s


套用旧字符／4估算
27.262 t/s
27.276 t/s


首段正文到达
68.9ms
71.1ms


同批采样最高核心温度
56℃
60℃



Agent 全流程另有两条无工具、关闭思考的合成请求：普通实际输入 640／输出 428 tokens，网页 53.9 t/s；随后同一会话开启 256K，实际输入 1185／输出 467 tokens，网页 54.7 t/s。它们有不同输入和历史，不能当成严格同输入性能比较。服务端首段等待分别约 0.098 秒和 14.005 秒；这次 256K 的长等待尚未归因，不能据输出阶段吞吐宣称首字已经解决，也不能从单样本断言是 MTP 或 256K 参数导致。
此前独立 GPU0-MTP / GPU1-无MTP 对照，三种短题、每种 3 次正式样本、1024 token 上限：无 MTP 约 51 t/s，MTP 约 67–71 t/s，提升约 31%–40%；首个原始模型 chunk 增加约 7–12ms。该旧对照输出以 length 截断，不能证明完整回答质量相同，也不能替代长上下文性能结论。
用户体感：较强思考时正文首字等待更长。实际 Agent 请求可能带有系统提示、工具定义和工具返回，“空聊天窗口”不等于模型实际输入为空。曾观察到真实 Agent 输入 10894–19117 tokens；没有导出真实用户问答。
希望请教

对这个 compressed-tensors 非对称 W4A16 模型和改装 4090D 48GB，当前 Triton 后端、MTP 和缓存参数是否有可验证的优化空间？
保持 128K／32K、256K／64K、350W 上限，以及目前 KV／SSM 精度时，哪些设置值得优先做单变量对照？
如何进一步区分上述 256K Agent 首段约 14 秒是队列、预填充、编译／缓存还是应用侧等待？应追加采集哪些日志或指标？
怎样进一步确认原生 MTP 接受率和 CUDA graph replay，而不把缓存容量、chunk 字符估算或思考结束时间误当成解码速度？

]]></description><link>https://lcz.me/topic/2218</link><guid isPermaLink="true">https://lcz.me/topic/2218</guid><dc:creator><![CDATA[胡适之]]></dc:creator><pubDate>Fri, 09 Oct 2026 12:02:53 GMT</pubDate></item><item><title><![CDATA[感觉大家的电脑都有用武之地，我的电脑就感觉纯玩浪费，emo了]]></title><description><![CDATA[
@terry said:
这个角度舔的很刁钻，老衲自愧不如

師父 您說話帶有大大的禪風，風很大，能夠穩壓RX 7900 XTX的顯存高溫 
]]></description><link>https://lcz.me/topic/2207</link><guid isPermaLink="true">https://lcz.me/topic/2207</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Fri, 09 Oct 2026 05:18:31 GMT</pubDate></item><item><title><![CDATA[我也来秀一下以前给实验室搭的机房]]></title><description><![CDATA[@terry  狠踩一脚
]]></description><link>https://lcz.me/topic/2203</link><guid isPermaLink="true">https://lcz.me/topic/2203</guid><dc:creator><![CDATA[Tony Wang]]></dc:creator><pubDate>Thu, 08 Oct 2026 23:59:54 GMT</pubDate></item><item><title><![CDATA[我的服务器故事]]></title><description><![CDATA[非常规整的走线，是个体面人。机箱审美拉满了。
]]></description><link>https://lcz.me/topic/2196</link><guid isPermaLink="true">https://lcz.me/topic/2196</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Thu, 08 Oct 2026 14:26:55 GMT</pubDate></item><item><title><![CDATA[瞎折腾工具]]></title><description><![CDATA[看了这么大的内存，以为是3090双卡，后期可以升级显卡啦。
]]></description><link>https://lcz.me/topic/2187</link><guid isPermaLink="true">https://lcz.me/topic/2187</guid><dc:creator><![CDATA[懒人烘培]]></dc:creator><pubDate>Thu, 08 Oct 2026 07:41:41 GMT</pubDate></item><item><title><![CDATA[新人分享办公主力机与家用机配置，想请教 Strata 双卡方案]]></title><description><![CDATA[@革命党领袖 可以买回来，你第二胎机器还能抢救下泡大模型，助力机器comfyui，闭环了。
]]></description><link>https://lcz.me/topic/2186</link><guid isPermaLink="true">https://lcz.me/topic/2186</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Thu, 08 Oct 2026 07:37:52 GMT</pubDate></item><item><title><![CDATA[更新的装备展]]></title><description><![CDATA[兄弟長得很帥喔 俊男美女配
]]></description><link>https://lcz.me/topic/2178</link><guid isPermaLink="true">https://lcz.me/topic/2178</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Thu, 08 Oct 2026 02:21:02 GMT</pubDate></item><item><title><![CDATA[秀秀我的雙六爺,還是挺能打的]]></title><description><![CDATA[
@懒人烘培 说:
2G还可再战几年

戰起來
]]></description><link>https://lcz.me/topic/2158</link><guid isPermaLink="true">https://lcz.me/topic/2158</guid><dc:creator><![CDATA[CHIA AN YANG]]></dc:creator><pubDate>Wed, 07 Oct 2026 03:54:13 GMT</pubDate></item><item><title><![CDATA[R9700 + 4060TI 双卡 主打一个该省省，该花花]]></title><description><![CDATA[原来也在考虑9700，看来声音确实是有些大
]]></description><link>https://lcz.me/topic/2148</link><guid isPermaLink="true">https://lcz.me/topic/2148</guid><dc:creator><![CDATA[懒人烘培]]></dc:creator><pubDate>Tue, 06 Oct 2026 16:29:27 GMT</pubDate></item><item><title><![CDATA[垃圾佬的快乐！]]></title><description><![CDATA[@J-Z-0
那就没区别了，瓶颈在SATA 的6G
]]></description><link>https://lcz.me/topic/2121</link><guid isPermaLink="true">https://lcz.me/topic/2121</guid><dc:creator><![CDATA[fcme]]></dc:creator><pubDate>Mon, 05 Oct 2026 14:51:26 GMT</pubDate></item><item><title><![CDATA[懒人整机，纯炫耀贴]]></title><description><![CDATA[现在看确实划算啊。
]]></description><link>https://lcz.me/topic/2119</link><guid isPermaLink="true">https://lcz.me/topic/2119</guid><dc:creator><![CDATA[johnnybegood]]></dc:creator><pubDate>Mon, 05 Oct 2026 14:21:08 GMT</pubDate></item><item><title><![CDATA[没想到我的猫笼机箱+矿架居然上电视了！有钱大神太多，4 X 3090低调路过...]]></title><description><![CDATA[@terry 
]]></description><link>https://lcz.me/topic/2115</link><guid isPermaLink="true">https://lcz.me/topic/2115</guid><dc:creator><![CDATA[JumpEggKiller]]></dc:creator><pubDate>Mon, 05 Oct 2026 11:49:44 GMT</pubDate></item><item><title><![CDATA[三卡 16G]]></title><description><![CDATA[我X，这个机箱挺能折腾的，3个5060I也是奇葩配置。挺能折腾的。
]]></description><link>https://lcz.me/topic/2108</link><guid isPermaLink="true">https://lcz.me/topic/2108</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Mon, 05 Oct 2026 09:17:27 GMT</pubDate></item><item><title><![CDATA[追忆青葱岁月 - 那个玩水冷的年代]]></title><description><![CDATA[@fcys 是的 现在不敢上水冷了 连aio 都不用，感觉不放心。风冷真的很省心。
]]></description><link>https://lcz.me/topic/2101</link><guid isPermaLink="true">https://lcz.me/topic/2101</guid><dc:creator><![CDATA[Y L 0]]></dc:creator><pubDate>Sun, 04 Oct 2026 20:58:26 GMT</pubDate></item><item><title><![CDATA[4× RTX PRO 6000 Blackwell Max Q]]></title><description><![CDATA[不懂就问 我就想问问用来玩黑神话悟空可以全开光追+影视级特效全开吗？哈哈
补充：4k hdr
]]></description><link>https://lcz.me/topic/2100</link><guid isPermaLink="true">https://lcz.me/topic/2100</guid><dc:creator><![CDATA[Marck Wong]]></dc:creator><pubDate>Sun, 04 Oct 2026 20:22:37 GMT</pubDate></item><item><title><![CDATA[倾家荡产，砸锅卖铁，嘎腰割肾的配置]]></title><description><![CDATA[这个好，两个肾怕是不够哈哈。不错不错
]]></description><link>https://lcz.me/topic/2097</link><guid isPermaLink="true">https://lcz.me/topic/2097</guid><dc:creator><![CDATA[懒人烘培]]></dc:creator><pubDate>Sun, 04 Oct 2026 16:54:18 GMT</pubDate></item><item><title><![CDATA[工作單位的測試機分享，都是 ＡＭＤ]]></title><description><![CDATA[RTX6000 ，金钱的味道。你们单位自己架设AI搞业务还是搞开发？这A100长得和Pro6000一模一样......
我看这背景怎么像家里？单位的机房？
服务器独特的美感，必须单独房间搭配
]]></description><link>https://lcz.me/topic/2094</link><guid isPermaLink="true">https://lcz.me/topic/2094</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 04 Oct 2026 14:27:12 GMT</pubDate></item><item><title><![CDATA[个人高性价比AI服务器 Dell7820双路，96G，配双卡R9700/5070Ti]]></title><description><![CDATA[@applejuice
没事儿，放心用着吧,  你个人用一下AI不可能比矿场的环境更严酷的
]]></description><link>https://lcz.me/topic/2093</link><guid isPermaLink="true">https://lcz.me/topic/2093</guid><dc:creator><![CDATA[fcme]]></dc:creator><pubDate>Sun, 04 Oct 2026 13:43:40 GMT</pubDate></item><item><title><![CDATA[中年男人的快乐（注册第一帖分享文具）]]></title><description><![CDATA[ 本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2091-2482-1（系统自动发放，显示稍有延迟）

]]></description><link>https://lcz.me/topic/2091</link><guid isPermaLink="true">https://lcz.me/topic/2091</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Sun, 04 Oct 2026 13:05:47 GMT</pubDate></item></channel></rss>