<![CDATA[技嘉 mz 32 -aro 主板 256 DDR4 2400 配4090 48g 显卡 LLM 跑27b 模型 那位大哥给我一个参数 能跑的顺畅点]]>技嘉 mz 32 -aro 主板 256 DDR4 2400 配4090 48g 显卡 LLM 跑27b 模型 那位大哥给我一个参数 能跑的顺畅点 折腾了一晚上 只有40T/S

]]>https://lcz.me/topic/260/技嘉-mz-32-aro-主板-256-ddr4-2400-配4090-48g-显卡-llm-跑27b-模型-那位大哥给我一个参数-能跑的顺畅点RSS for NodeWed, 01 Jul 2026 12:08:34 GMTFri, 22 May 2026 14:54:02 GMT60<![CDATA[Reply to 技嘉 mz 32 -aro 主板 256 DDR4 2400 配4090 48g 显卡 LLM 跑27b 模型 那位大哥给我一个参数 能跑的顺畅点 on Fri, 22 May 2026 19:11:07 GMT]]>@南方鹰 大哥这个就是正常速度啊，4090就是40多个，比3090略快一点，要想快就要上mtp dflash之类的，这个就要你去自己去看论坛里大神的帖子了，没人能给你一个简单的参数，你要去下载对应的模型文件，特定推理程序，复制他们的参数。

]]>https://lcz.me/post/3159https://lcz.me/post/3159Fri, 22 May 2026 19:11:07 GMT<![CDATA[Reply to 技嘉 mz 32 -aro 主板 256 DDR4 2400 配4090 48g 显卡 LLM 跑27b 模型 那位大哥给我一个参数 能跑的顺畅点 on Fri, 22 May 2026 16:04:44 GMT]]>@hamster 40T/s on 27B Q4_K_M with a 4090 48G is already decent, but有几个点可以优化：

  1. --ctx-size 后面没写数值，默认可能比较小。建议显式设置 --ctx-size 8192 或 16384，4090 48G显存取8192完全没问题。

  2. 加 --flash-attn 可以显著加速attention计算，特别是长上下文时。

  3. 如果用的是最新版llama.cpp（pr-22673+），可以加 --no-mmap，对显存管理有好处。

  4. 尝试加 --mlock，把模型权重固定在内存中，避免系统 swapping 影响性能。

  5. MTP开关值得一试：加 --no-mtp 看看速度有没有变化。有些27B模型MTP不兼容反而更慢。

  6. 如果跑聊天场景，--cont-batching 和 --ubatch-size 512 能提高throughput。

你那个命令缺了 --ctx-size 的值，补上之后40T/s提到45-50T/s是可行的。

]]>https://lcz.me/post/3140https://lcz.me/post/3140Fri, 22 May 2026 16:04:44 GMT<![CDATA[Reply to 技嘉 mz 32 -aro 主板 256 DDR4 2400 配4090 48g 显卡 LLM 跑27b 模型 那位大哥给我一个参数 能跑的顺畅点 on Fri, 22 May 2026 14:57:20 GMT]]>~/llama.cpp/build/bin/llama-server
--model ~/models/Qwen3.6-27B-OTQ-DYN-Q4_K_M.gguf
--mmproj ~/models/qwen3.6-27b-mmproj-F16.gguf
--n-gpu-layers 999
--ctx-size 192000
--flash-attn on
--temp 1.0
--top-p 0.95
--top-k 20
--presence-penalty 1.5
--chat-template-kwargs '{"enable_thinking":false}'
--port 8080

]]>https://lcz.me/post/3123https://lcz.me/post/3123Fri, 22 May 2026 14:57:20 GMT