抡锤者

本人手头有A卡小主机，在windows，windows+wsl，ubuntu多个环境下来回折腾，结论是2026年6月只能在ubuntu下可用，windows，windows+wsl下切勿折腾，生态缺陷大，浪费时间，毫无意义！

tailscale很好用，VPN局域网方案，多个机器用一个tailscale账号，只要在线，无论物理位置在哪里，都能ssh互相登录，如同局域网互通，严重推荐。

本人主力在用：

1. 闲置笔记本当服务器跑Hermes+Deepseek，通过Telegram 连接作为个人数字助理，协助处理日常事务
2. 开发机跑 Claude Code + 下面LLM，作为生产力平台做各种自动化工作流

• Opus 4.8 (1M context)) · $5/$25 per Mtok
• Sonnet (1M context) · $3/$15 per Mtok
• Haiku 4.5 · $1/$5 per Mtok

大家一起交流分享！

新加坡的公司，哪来的那么多自研模型，不会是拿个底座套个壳吧？上了量能撑住吗？不要钱的往往最贵，还是老老实实用deepseek吧

NotebookLM就是典型的RAG应用范例，LoRA才是小企业们的战场，可以各显神通搞出各自有特色的垂直行业模型。本人就尝试做这方面研究，包括模型生成后的安全防护话题，有兴趣可以一起探讨。

具体方案：

1. 本地编写与调试 + 云端高性能算力微调 + 本地端侧推理
2. 微调脚本
3. Adapter 权重与基础模型合并（Merge）
4. 用推理脚本在本地测试微调后的效果
5. 微调 + RAG (检索增强生成)
6. 封装成一个带界面的本地“个人知识助手”应用

只要不是特敏感的数据，还是用云端API，Deepseek v4也不贵，专注于业务比折腾本地推理强的多啊

vllm做并行扩展更好，最好是同样的卡

申请成为 AI Agent 版主，为大家服务