求助:年底回国想在家放一台跑本地模型的机器,家里只有老母亲、坏了没人会修,有没有基本不用折腾的方案?
-
「不折腾」按远程可维护性排,不按峰值性能排:
- 最省心:Mac mini M4/M5 Pro 64G,27B 4bit 大约 15-20 t/s,功耗低、噪音小,整机不用管驱动;缺点是 GPU 不可扩、长上下文 prefill 一般。远程用 Tailscale + 屏幕共享,家里只要保证不断电断网。
- 要 CUDA:品牌工作站单卡 4090 / RTX 4000 Ada,配 NanoKVM 做带外管理(远程开机、进 BIOS、重装),坏了走本地上门保修;这比纯软件远程稳一个量级。
- 不建议洋垃圾多卡:R9700 + DDR3 那套性价比高但故障点多,人不在国内很难收场。
- 软件层统一:Docker 固定版本 + systemd/pm2 自启 + Tailscale + 智能插座(死机远程断电),再留一份「恢复步骤」给家里人照着插电开机。
预算够就 Mac mini;要出片速度就品牌工作站单卡 5090/4090 + NanoKVM。目标不是「坏了自己修」,是「坏了能远程恢复 + 有上门保修」。
-
-
-
-
各位大神好,我是 ゆうみん(Yumin),平时做 AI 视频,主要在本地用 MiniMax H3 出片。
起因
写脚本、改代码这些活主要靠 Claude,最近 Claude 每周的 Token 经常不够用,所以想在本地跑一个模型,不限量地用。情况
- 我人在日本,年底回国,想在国内家里放一台专门跑本地模型的机器,回日本以后远程用
- 家里只有老母亲一个人,机器坏了她不会折腾,也不会修
- 原本群里推荐 R9700 32G+DDR3 凑 128G,但担心太折腾
想请教
- 有没有基本不用折腾的机器?(整机、迷你主机、品牌工作站之类都可以)
- 这种情况大家会怎么配?大概能跑多大的模型、多少 tok/s?
如果有能参考的整机清单(带价格)就更好了,先谢谢各位!
各位大神好,我是 ゆうみん(Yumin),平时做 AI 视频,主要在本地用 MiniMax H3 出片。
起因
写脚本、改代码这些活主要靠 Claude,最近 Claude 每周的 Token 经常不够用,所以想在本地跑一个模型,不限量地用。情况
- 我人在日本,年底回国,想在国内家里放一台专门跑本地模型的机器,回日本以后远程用
- 家里只有老母亲一个人,机器坏了她不会折腾,也不会修
- 原本群里推荐 R9700 32G+DDR3 凑 128G,但担心太折腾
想请教
- 有没有基本不用折腾的机器?(整机、迷你主机、品牌工作站之类都可以)
- 这种情况大家会怎么配?大概能跑多大的模型、多少 tok/s?
如果有能参考的整机清单(带价格)就更好了,先谢谢各位!
全站发贴找一个和你近的坛友,直接把机器放他家得了。 或者是在你家弄好,实在出问题的时候让坛友去你家帮你维护。
-
-
各位大神好,我是 ゆうみん(Yumin),平时做 AI 视频,主要在本地用 MiniMax H3 出片。
起因
写脚本、改代码这些活主要靠 Claude,最近 Claude 每周的 Token 经常不够用,所以想在本地跑一个模型,不限量地用。情况
- 我人在日本,年底回国,想在国内家里放一台专门跑本地模型的机器,回日本以后远程用
- 家里只有老母亲一个人,机器坏了她不会折腾,也不会修
- 原本群里推荐 R9700 32G+DDR3 凑 128G,但担心太折腾
想请教
- 有没有基本不用折腾的机器?(整机、迷你主机、品牌工作站之类都可以)
- 这种情况大家会怎么配?大概能跑多大的模型、多少 tok/s?
如果有能参考的整机清单(带价格)就更好了,先谢谢各位!
全站发贴找一个和你近的坛友,直接把机器放他家得了。 或者是在你家弄好,实在出问题的时候让坛友去你家帮你维护。
-
-
-
-
-
-
如果一定要放在国内,方案如下:搞一个带主板带BMC远程管理的服务器或工作站主机,可以远程开机和关机,远程装系统。一次设置好以后,几乎不需要人现场维护,只要有电和网络就行了。
系统选择:安装一个Ubuntu/Debian系统,更新起来也很简单,设置好来电自动启动,临时停电了也不是问题。如果来电启动不起作用,还可以通过BMC带的ipmi管理端口手动开机也很方便。
远程连接:最好在HK或JP租VPS中转,比较有网速保证,但是这个方案有点小复杂,但是问问AI如何设置就搞定了。
IPv6直连:方案可以直连,但是这个方案要当地运营商,路由器,以及你在JP的电脑都支持IPv6才行,如果中间有一个环节不支持IPv6,网络都连不通。
硬件维护:首先要在电脑里安装两个硬盘,一个系统盘,一个备份盘,做好系统和文件备份,以防硬盘坏了,资料丢了比较麻烦。由于可以远程装系统,如果资料不重要,也可以只安装一个硬盘。其他硬件坏了,你去京东买配件邮回家,顺便买一个京东上门安装的服务,帮你把坏的硬件换了就OK。P.S.这个方案不如直接买大模型公司的Token plan或者通过openrouter来调用deepseek,智普等公司的api划算和方便,除非是很重视本地隐私和安全。
本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!