Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
冲着安静就得加分,贵是有道理的,双7900XTX又在嗷嗷叫了~~
看了两个512GB的评测,都是超长上下文prefill速度反而大于相对长的上下文(超短上下文不作数)。
感觉mlx还有很大的优化空间。
速度应该和功耗有个比较。 两者的功耗比,辛苦有空的时候做个比较。
mlx平台不熟悉,让我先熟悉,后期给大家一个完整的测评
好奇下 Mac 4台 M5 Ultra 512GB 能有啥效果,DS 4.1 原版能上 80 t/S 么
@疼哥蛋 瓶颈就是雷电五了
我除了想知道这个测试,更想知道两台256G是不是会比单台512g更快些。让我后续也有个念想。大佬你要不再弄两台256G, 我一定围观捧场。
@cc-tgo 你在你的测试帖子中@他不就行了,让 @ivan-lan 和你测试同一个流程。我正好再水一个视频。
@terry 不是烂尾了,是mlx-serve和omlx两个推理引擎出的结果,差别很大,前者号称是C++替换Pytorch,性能很高,但是实际性能还不如olmx,而且tps的计算方法都有问题,我尽快把长文本和能耗用omlx测下;
老特一句话,赶紧测试 过程中的截图,目前在:512K × 8 并发,DSpark 关闭。每路约 50 万输入 token 发张图,说明我在干活 @terry
@ivan-lan 不着急,我什么时候都能水视频,现在在筹备新频道,完全躺平。
@terry ComfyUI频道?我等好久了
@ivan-lan 是的,需要构思创意,其实技术难度不高,就是创意。
交作业:https://lcz.me/topic/3184
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。
有了你的建议,这篇帖子会更精彩哦 💗