DDR3内存条太便宜，上256G 512G跑本地大模型？完全没有必要，120B模型足够处理隐私和抗审查，要求高上在线AI，先赚钱！

[terry]

@ikum tokens话之后本地跑不动。

[fcme]

@范志刚
Ollama不在讨论范围

[Yu Nickolas]

不用洋垃圾，上128G DDR4也就是一般平台极限了，这个用3.8nf能开256K上下文吗

[dardeaw feng]

@范志刚 ollama老早就已經被發配邊疆了.....結果你在抱怨她是你的問題還是128G的問題.....

[Charly Cheng]

之前的視頻聽捶哥說買ddr3的內存來跑QFN，期待捶哥內存擴充好之後，聊聊這件事的後續，哈哈。

[dardeaw feng]

@Charly-Cheng 我的帖子都已經示範過了 最低預算跑QFN 還能魔改成跑NVFP4版了
測試數據都有

[范志刚]

对于做工程的系统来讲，速度不是第一追求，稳定和完成规范才是真正需求，一个工程系统的基座只要不是目标达成崩坏的根源就不会频繁升级，一种基座能够持续存活就有意义和价值，至少生态成熟，可以把学习成本用在开发和结果达成。科技大跃进和投机的风险就是一切还要回到开头重新来做，这很可怕。用来学习当然苟日新，干活总换个屁，工业追求的是标准化稳定产出，快那么10个8个token对于基座稳定性风险来说不值一提，目前ollama不差什么，人家也在持续稳定进步，这不是站队，是实打实很好用的结论。128够吗，就像32g能跑llm 8g能跑comfyui一样，一个vm里再跑个llm环境的系统消耗是多少？128g还够用吗

[范志刚]

回到基座，现在有多少种推理基座？有20种没？今天cpp明天vllm后天sglang strata arlllm，什么时候开始做模块呢，有冒烟不占内存又能稳定持续运行的没，那还研究内存干屁，16g吧，好心说说内存不容易换，既然捡垃圾能大就大点，这是血泪教训，之前我用x79 t3610跑v100就是血泪教训，各种规格不够，8根4g，能不能学，能，能不能跑，我比别人多付出几倍精力搭建推理基座，最后还是整台淘汰，价格差不了太多的前提下不做重复投资才是最省

[jian xu]

刚买了8条16G 3200凑8通道试试水

[Tzung-Ru Tsai]

其實美超微的老E5主板有些是能單CPU上8條DDR3 RDIMM的，湊個256GB難度不算高，麻煩的是這些老板子大多沒M.2插槽，只能試著用PCIE轉M.2的轉卡硬上，還得先確認BIOS有支援NVME開機，挺麻煩的