DDR3内存条太便宜，上256G 512G跑本地大模型？完全没有必要，120B模型足够处理隐私和抗审查，要求高上在线AI，先赚钱！

[dardeaw feng]

@范志刚 ollama老早就已經被發配邊疆了.....結果你在抱怨她是你的問題還是128G的問題.....

[Charly Cheng]

之前的視頻聽捶哥說買ddr3的內存來跑QFN，期待捶哥內存擴充好之後，聊聊這件事的後續，哈哈。

[dardeaw feng]

@Charly-Cheng 我的帖子都已經示範過了 最低預算跑QFN 還能魔改成跑NVFP4版了
測試數據都有

[范志刚]

对于做工程的系统来讲，速度不是第一追求，稳定和完成规范才是真正需求，一个工程系统的基座只要不是目标达成崩坏的根源就不会频繁升级，一种基座能够持续存活就有意义和价值，至少生态成熟，可以把学习成本用在开发和结果达成。科技大跃进和投机的风险就是一切还要回到开头重新来做，这很可怕。用来学习当然苟日新，干活总换个屁，工业追求的是标准化稳定产出，快那么10个8个token对于基座稳定性风险来说不值一提，目前ollama不差什么，人家也在持续稳定进步，这不是站队，是实打实很好用的结论。128够吗，就像32g能跑llm 8g能跑comfyui一样，一个vm里再跑个llm环境的系统消耗是多少？128g还够用吗

[范志刚]

回到基座，现在有多少种推理基座？有20种没？今天cpp明天vllm后天sglang strata arlllm，什么时候开始做模块呢，有冒烟不占内存又能稳定持续运行的没，那还研究内存干屁，16g吧，好心说说内存不容易换，既然捡垃圾能大就大点，这是血泪教训，之前我用x79 t3610跑v100就是血泪教训，各种规格不够，8根4g，能不能学，能，能不能跑，我比别人多付出几倍精力搭建推理基座，最后还是整台淘汰，价格差不了太多的前提下不做重复投资才是最省

[jian xu]

刚买了8条16G 3200凑8通道试试水

[Tzung-Ru Tsai]

其實美超微的老E5主板有些是能單CPU上8條DDR3 RDIMM的，湊個256GB難度不算高，麻煩的是這些老板子大多沒M.2插槽，只能試著用PCIE轉M.2的轉卡硬上，還得先確認BIOS有支援NVME開機，挺麻煩的

[applejuice]

@imbiplaza-ASUS 这些显卡以前的价钱对现在的我还是有点大财所用

即使是现在拥有的用满起来都有难度

[imbiplaza ASUS]

@applejuice
你们总是想着花一个1万几千就想变现。。。

我花1万几千存粹想快乐

[applejuice]

@imbiplaza-ASUS 大哥有实力

[范志刚]

pci-e的m.2超便宜几块钱，富裕的俩槽插满转换卡，带那个卡好像是6盘吧，反正前面的盒子也让我插满了，超喜欢这种花不了几个钱就用满配的当年皇帝机规制的感受，垃圾佬的快乐谁懂哈哈@Tzung-Ru Tsai

[terry]

@Charly-Cheng 论坛不是有很多人测试了吗？我条子和设备都到位了啊，家里忙，不想折腾，有空自然会测的。你先看其他人的测试不一样的吗？