抡锤者

第一次發表 謝謝指教

V100-32G的本地大模型的效果超过了7900XTX 24G，不错啊

@soop-ladios 感谢您的耐心讲解。您这个混合的架构理解起来还真的有点绕。我本来就简单计算4x32 = 128GB， 一部分offload到CPU走PCIe。实际情况比这个复杂了。 V100 有那种4卡和8卡NVlink的可能瓶颈会更少吧。不过这个就不是垃圾佬的范畴了。现在V100 32GB的卡价格也炒上去了，我还是耐心等AI泡沫破了看看有没有机会捡到A100 A200。哈哈有点白日梦。 因为我入门比较晚，没有大佬们的硬件玩具现在捡了一张V100 16GB，一张P100 16GB 跑跑边缘小模型做写vision UD， 小UD LLM, qWen image 2.1生图之类的边缘玩意了。 保持关注~ 再次感谢！

这个主板牛逼啊，单路还是双路？8通道？

看了不少論壇上的X99主板都帶風扇，個人挑主板偏好找無風扇的純被動散熱版本，主板風扇小、便宜貨居多導致品質不穩定、又大多難以替換，一旦出狀況往往散熱能力大降加上魔音穿腦，特別是裸機流的同好可以斟酌一下。

那我就知道以后咋整了，多谢我锤哥斧正@terry

@Prio v100这么低吗？ 内存多少，开mtp了没有？ nvme吗？

@terry 是的。我只是感慨，什么垃圾都有属于自己的春天。 对于垃圾佬，只要没有抄底就感觉是亏了。毕竟垃圾佬玩的是情绪价值，享受百元抄底万元硬件的快乐和低价玩机不断折腾的过程。中年男人的手办，从此多了一样——本地ai算力机。 对于生产力，只需要看投资回报。只要能算账算过来，8张 RTX pro 6000 都不贵。

今天又买了一块，比之前买的贵100，1300了，两块都是在闲鱼买的，中间还有一次退货，说的是ecc 0错误，结果到手测168次错误，1个退役页。退了。耽误了几天就又涨了。好像目前都报价在1400-1600了。

@GooD2089 感谢回帖，看到老兄你第一个帖就是回复我，感谢。 让我有了个底，知道大概可以跑什么速度。

@kos-or Swift15 應該思考回合會少很多才是. xhigh可能是他寫的python跑到停不下來, 我就遇到這個問題, 不把它停掉可能一個python就跑好幾天..

HP的服务器对设备兼容性要求非常高，只要不是HP原厂设备，风扇总是最高转速。 曾经一个DL380 G8，配上Nvidia的显卡，风扇啸叫，怎么都调不下来。后来查了才知道，HP服务器只能用认证的设备。 所以，要想上HP服务器，一定要先考虑能不能忍得住风扇噪音。

整个kv在nvfp4的方案里最多只有256k.在单并发长上下文和双并发短上下文中，选择了后者。 Prefill在高上下文时衰减比较严重，均衡选择了c=2, ctx=128k。 V100这两天开始涨价了。 纯文字llm，不做视频的，可以参考。

@Kenneth-Wu 可以. 我四卡v100 32G x 4 的qwen 3.8 flash next是跑SGLang, 雙卡V100 32G x 2 qwen 3.8 27B是跑llama.cpp