人手服务器主板，但可惜都不是最适合跑大模型的

@Ying-Hong docker的耗損多在cpu而已，有差異大多是文本內容性質影響比較大

我目前手上兩個都有跑, qwen 3.8 flash next跑出數字如下: [image: c00baa49-d1e6-4938-9163-97d09156a403.png] 用的是這份recipe: https://github.com/tonyd2wild/Qwen3.8-Flash-Next-NVFP4-DGX-Spark 用他的SPEED mode, 不過把KV換成BF16, 修復prefill cache, 摘要如下: 模型與執行配置 項目 實際設定 Hugging Face model nvidia/Qwen3.8-Flash-Next-NVFP4 Context length 262144 tokens Max sequences 5 Tensor parallel TP=2 Pipeline parallel PP=1 KV cache dtype BF16 / bfloat16 KV pool size 1,074,081 tokens（本次重啟實測） 262144-token concurrency 4.10x KV memory 約 16.41 GiB（本次 rank 0 log） GPU memory utilization 0.70 MTP 3 speculative tokens Max batched tokens 4096 Prefix caching Enabled；Mamba mode=align；實際 cache hit 已驗證 PLE TonyD SPEED resident mode（PLE_MODE=none） CUDA graphs FULL_DECODE_ONLY，compile mode NONE Container swap 禁止；兩端 memory.swap.current=0、OOM counters=0 驗收摘要 Prefix cache：實際命中 1,600 tokens，TTFT 約 2.126s → 0.860s。 Prefix correctness：cold/hit 的文字與完整 token sequence 相同；20-round growing conversation 為 20/20 文字與 tokens 相同，無 Mamba/CUDA error。 32K prefill：3,095.38 tok/s 128K prefill：3,002.73 tok/s 約 250K prefill：2,880.57 tok/s C1 coding：50.55 tok/s；C1 reasoning：48.81 tok/s C4 aggregate：coding 155.40 tok/s；reasoning 148.88 tok/s 目前允許最多 5 個 active sequences；既有 4×64K context + 每路 4096 forced decode 壓測已證明可維持 4 個 active sequences，尚未另跑 C5 長壓測。 Coding、reasoning、OpenAI tool/function calling round-trip 與 1-image Vision smoke 均 PASS。 兩者相較之下, 經過不同任務長時間驗證, 我感覺qwen 3.8 flash next能力比較強一點. 不過我主要是做工程方面的, 或許其他方面不一樣也不一定.

@王磊 完美。。。。。

@用户名违规 0.98确实太激进了，我现在改成0.96，上下文224K。

qwen3.8 把thinking 弄成这样乱78糟肯定有他的用处，我关了影响不大，又开回了。。 最近更新了我认为好用的nvfp4无审查版本，只是开动q8 kv & 152000k, 还没到oom 又有速度 （75ts),prefill 2800ts 我就不大爱管他，我使用我自己的自制api, loading model 后就开始跑，不大会thinking，然而使用dsh 就会thinking 来thinking 去老半天。。。还没捣鼓原理在哪

回到 Qwen 3.6 27B 或 A3B 可以。 3.8 太新。 让时间解决这个问题。

https://youtu.be/RY7WltkO90E

Mediali，这个 trade-off 你点得对，我认——「让 27B 想少点」跟「效果好」本来就是对跷跷板。想得少 = 质量掉，这是模型天花板，prompt 再怎么调也突破不了。我前面讲的「拆任务 + prompt 约束」本质是 24G 单卡塞不下时「把天花板顶高一点」的应急解，不是让这卡生产力起飞。 你真要生产力，就是你说的那条路：vLLM/SGLang + 32-40G 显存，普通卡就双卡，双卡 N 卡图便宜选。双 5070Ti 32G 是很务实的一档，这个方向我背书。 两个数温柔纠一下，免得你按它们排预算： decode 是每 token 全量读一遍权重，速度 = 带宽 / 模型体积。27B 是 dense，FP4 约 14-16GB，2x5070Ti 合计带宽约 896GB/s，算下来 55-65 t/s 是真的；130+ 得上 H100/B200 那种 3TB/s+。prefill 3000-5000 我信，那是算力侧、跟带宽无关。 256K 在 32G 上：FP4 权重约 16G + q8 KV 约 9.5G + 激活缓冲，有点紧；建议 KV 用 q8、窗口按需（32-64K 日常够），别一上来顶 256K。 一句话：我说的是「24G 怎么忍」，你说的是「该换赛道」——生产力这道题答案在你那边。OP 要是预算能上双 5070Ti，直接照你说的跑，别拿 24G 单卡硬扛了。

@Kk-Hh 问题这台主机不是3000 也不是1w， 是3-4w， 这价格能用小主机来衡量吗？ 这价格目的买的是工作平台来使用吧，不是用来等用来玩的。这价位这速度，超级不值。

感谢分享，我之前也有过这样的想法，不过碍于内存价格没有实践。这么来看内存带宽是我之前完全忽略的死角，我原本以为 DDR5 内存比 SSD 更快体验只会更好，没想到还是不够快

[image: 1be30574-c480-4a51-b935-3b93e29c08d1.png]

@VS-Studio 试过了， 小显存的小卡玩玩就可以。 对大显存的来说没必要。

@nami-ryuu https://github.com/magiccodingman/vllm-radiance 這個就是雙卡的DECODE效能看起來就是X1.8左右。 不過，雙卡研究SGLANG比較香吧。

@辟支獨覺 顶，那你一定看到了，恭喜你顿悟了。

@nami-ryuu 蝦皮隨便買的, CYID PCIE OC-P3, M2-OCR轉接板(帶芯片)+P3塢+OC線+ASX支架