抡锤者

@terry

我现在开始认真考虑 R9700了.

我觉得自己有点儿不配拥有5090了

是打算5090，不过现在已经40000了，一张卡。等我回国，两个月后，不知道还会涨多少

又涨价了， 4万已经买不到了，得5万老多了 @xiaote

@terry

你看图片, 27b oQ4 MTP, pp已经到了 1131.8, tg 还能在 17.3.

不过我问了AI, 这个 SpecPrefill 技术不适合多轮对话, 会乱掉. 只适合 长文本 的一次性分析, 和几轮对话.

所以, 对于AI agent , 还是没啥用. 对于我LLM wiki, 倒是有点儿用, 不过那个, 我如果单独分析, 也就等一会儿就完了, 不着急了. 感觉这个技术有点儿鸡肋.

@terry

我靠, 我觉得还是可以抢救一下的, 刚才又在oMLX 加上了SpecPrefill , 加了一个qwen3.5 2B Q4 用来预测, PP狂涨.

这个对我做LLM wiki 还是很有价值的.

@terry 说:

pro 5000， 6000都行。

我对噪音敏感, 已经排除掉了 5000, 6000. 如果不是噪音敏感, 我就入手你推荐的9700两张了. 我主要要LLM的算力, 视频也就是玩玩, 不用来生产.

看来我必须得搞 5090了, 无论如何得想办法降低噪音

等回国了就动手.

是啊, 所以结论不变, M5pro 跑27b 不行, Max 没准行.

@terry 号召有 Μ5max的测试一下, 有可能给 LLM 带来希望.

今天oMLX发布了 0.3.9rc1, 支持了 native MTP, 我又测了一下加上了MTP机制的 27b oQ4, decode 明显提升, PP 基本不变.

@mark

抱歉, 我理解错问题了. 关于节点如何构建, 我觉得你抄ComfyUI是对的.

@mark

我的一点儿浅见, 我觉得你可以抽象出两个节点:

1, Router, 它的输入是用户对流程的期望, 以及workflow 的json. 它负责推理出如何调度不同的资源和参数. 输出给Hub switch.

2, Hub, 它负责switch不同的参数给 load checkpoint, load prompt, load output setting等.

找几个高PR的AI论坛交换下链接

我现在是全线 mac, 没有windows了. kvm只是为了隔离沙盒, 沙盒有两个核心就够. 所以cpu我只打算用个amd 9700 或者9600 的 6到8核就够, 全大核. 我打算用沙盒测试一下 号称 AI原生的linux.

使用习惯我理解我能克服, 10年前我也是从windows全线切换到mac. 大不了重新学习, 重要的是生态是否成熟, 有没有平替. 如果完全没有平替, 那就麻烦了.

全线我是为了无缝链接, 比如copy paste, 拖拽, airdrop, 屏幕接力, 摄像头mic 调用等, 是这个意思.

至于系统简化, 我的思路是优先通过一物一用去简化, 其次才通过复用隔离去简化. 比如我的软路由就是软路由, 我连交换都不用它做. NAS就是NAS, 只是它天然适合media server. 至于IOT hub, 是因为我目前只有这台NAS是7*24, 回头可以搞个树莓派来做.

@williamlouis

主要是应用, 看看能不能都平替过来. 目前看只有我的外置声卡可能需要换一个.

@terry

回头我折腾一下试试. wps和搜狗我都不喜欢, 免费版跳广告. 我现在用 google 三件套平替(只要不断网), 输入法用Rime+鼠须管平替. vi 是肌肉记忆了, 只是我不打代码, 只改配置, 比图形界面省事多了

我2000年初曾试过全Linux, redhat+KDE, 但是生态太差, 不得以装了vmware+windows, 经过接近一年的挣扎之后, 不得以又换回了windows生态. 到现在还有心理阴影.

今天跟AI学习了半天, 感觉我全部的生态都改为 Linux +android, 应用应该可以全部平替, 工作流接力似乎也可以无缝连接. 有没有大神有实际的使用经验?

我的需求主要就是: 办公软件, 上网浏览, 轻量视频编辑, 音乐编辑(这个我自己想办法), 以及一些小工具.

网络架构的的设想:
1, AI 后端和沙盒: 无头kvm的linux, 提供AI算力 和沙盒环境.
2, 主力机: Linux小主机+5K/2k显示器, 日常使用.
3, 便携机: Linux轻薄本, 沙发和外出使用
4, Android 的pad 和 手机
5, 软路由(正在测试)
6, NAS+IOT Hub+媒体服务器(这个用我现有的群晖已经实现)

请问大家的实际经验, 会有什么很难解决的痛点? 以及我还有什么没想到的?

这个好, 分享些 workflow 之类的.

这个性价比确实不错, 可惜就是连风扇都没有. 改风冷改水冷, 得有好手艺. 我是对自己没信心

我理解你这个模型不是llm模型，是个diffusion模型，要用comfy ui 来跑， 里面有模版，很容易上手. 不过调优需要慢慢摸索