抡锤者

我在socal 这边 有时候开会去弯区玩的， 我也现在搞部署玩的，等着moe 在成熟点scale up 一些设备 感觉现在高智商辅助功能还行 对我的领域。 你m5 macstudio 能连一起么？最大能链多大的内存+vram 设置？

我在西海岸这边的 我也是油管找到的， 我看你的小红书主要是搞硬件的？ 本地算力 现在最主要是堆积自己的软件基础设施吧，agent 群做一些杂事之类的。

大家好，
（5080 64ram #1, 3070ti 32ram#2)
tldr：不太够vram ram 设备也能凑活用 15 tps 和 5（3-7） tps 希望某些大佬们能优化一下 。 主要是备用电脑太多了让他们做做深度研究。 （主要是都有没用闲着的久电脑可以 跑一跑 晚间12个小时还是能做很多研究的）
D:\cuda\llama-b10705-bin-win-cuda-13.3-x64\llama-cli.exe -m C:\cuda\Qwen3.8-Flash-Next-GGUF\Qwen3.8-Flash-Next-Q4_K_M-00001-of-00003.gguf --load-mode mmap --no-host -ngl 999 -ncmoe 46 -fa on -ub 256 -b 1024 --override-tensor "per_layer_token_embd=CPU" --no-mmap
（13.4v 比13.3 还要慢）
疑点：我的command 指令 我的指令我完全没搞懂咋能跑的 （ram 根本不够）感觉好像是vram 正常跑快速layer 然后ram 一直和ssd 替换交接但不能用memory page swap （很考验cpu的）

我是在Windows cmd 里面跑的 linux 加mtp 会更快
今天想和大家分享一下 Qwen 3.8B Flash Next 模型在 Q4_K_L 量化版本下的本地运行评测和一些优化心得。目前我在两套不同的系统上进行了测试，其中主力机已经可以稳定输出 15 TPS（每秒 Token 数）。对于这个体量的模型，Q4_K_L 量化在运行速度与智能保留度之间找到了一个极佳的平衡点，非常适合用来做本地日常助手或实时生成任务。

硬件配置与实测表现我目前在两台设备上部署了该模型，表现各有侧重：设备 A（主力台式机 —— 15 TPS 主力军）显卡 (GPU): NVIDIA GeForce RTX 5080内存 (RAM): 64GB DDR4 3200 MT/s存储 (SSD): 2TB NVMe SSD运行表现: 性能非常强劲，模型完全载入显存，生成速度极度流畅，稳定维持在 15 TPS。设备 B（移动笔记本 —— 随身轻量机）显卡 (GPU): NVIDIA GeForce RTX 3070 Ti Laptop内存 (RAM): 32GB DDR4 2133 MT/s运行表现: 受限于笔记本功耗墙以及较慢的内存频率（2133 MT/s），大上下文时会有轻微掉速，但日常对话依然足够应付。 核心优化与部署心得为什么选择 Q4_K_L 量化？相比于常见的 Q4_K_M 或传统的 Q4_0，Q4_K_L（Large）量化在困惑度（Perplexity）上的损耗更小，保留了模型更多的“灵性”，同时内存占用依旧很低，是 3.8B 模型兼顾速度与智商的首选。

大家目前用这个模型 用备用笔记本32gbram 都能跑到多少 TPS？我下周再试试更少资源的电脑优化以后在跑跑，如果有在用类似配置或者更低配置的朋友，欢迎在评论区贴出你们的参数，我们一起交流一下优化压榨性能的参数（如 Flash Attention 开启状态等）！

多谢大家的关注 我是搞金融方面的 大家有兴趣我们可以多聊聊
we can chat more if interested in securities AI hardware usage for quant process systems.