大佬们，中小企业自建本地大模型有没有什么可行的方案？
-
按照现在的要求，也就是说连给LLM提供外网的信息检索也不行。那基本上小模型这条路就走不通了。
想稳定只能走大体积MOE模型这条路了，比如deepseek-v4-pro。然后就是关于没有二开，没有二开的话，对于员工侧操作界面是什么？如何鉴权？不可能每个人都各自有一个类似Hermes Agent的东西自己养吧……
LLM硬件这个我个人就无法给出有经验的判断了，期待楼主的最终成果。
-
@c0aster 关于 DeepSeek V4 Flash 能不能跑，给个具体点的参考：
Flash 版本大概需要 8bit 下跑满 685B MoE，单卡 80G 跑不动（激活参数 ~37B 但完整模型太大），至少要 4× A100 80G 或者 2× H200 才跑得舒服。10-20 并发的话，vLLM 配合 continuous batching 可以撑，但 2-4 张卡的压力不小。
如果你的预算是几十万这个级别，更现实的方案是：
方案一：4× A100 80G（大概 25-30 万）
- 跑 DeepSeek V4 Flash，vLLM 做推理服务
- 10-20 并发 OK，但需要配好 prefix caching 和适当降低 max-tokens
- 功耗大概 1200-1600W，还需要一台服务器机箱
方案二：2× A100 80G + Qwen3.6-72B（预算 15-18 万）
- 72B 单机双卡就能跑，剩余预算还可以配一台专门的 ComfyUI 机器（4090/5090）
- 办公写作、问数这些场景 72B 足够了
- 双机分离的好处是 LLM 和 画图/视频的负载不抢显存
关于 PPT 和画图需求：
你说的 NotebookLM + ComfyUI 那条链路确实可行。大模型先生成文案结构 → 调 ComfyUI 工作流出图 → 合成 PPT。但 ComfyUI 最好是独立一张卡跑，跟 LLM 分开，不然显存打架很头疼。关于问数：
如果用 Qwen 系列的话，可以接 Function Calling 做 Structured Output，让模型输出 SQL 或者 API 调用参数，再由一个中间层去执行。不需要让模型自己去爬——模型负责理解语言和生成参数，中间层（Python 脚本/Node.js）负责执行。给个大概的架构建议：
LLM 推理服务器（4×A100 / 2×A100 80G） → vLLM + Qwen3.6-72B 或 DS V4 Flash → 提供 OpenAI 兼容 API 业务中台服务器（普通 CPU 服务器） → 处理鉴权、路由、业务逻辑 → 执行 SQL 查询 / API 调用 → 调用画图接口（ComfyUI） ComfyUI 服务器（1×RTX 4090/5090） → 负责所有图片/PPT 素材生成全是内网隔离，不做外网访问，这样安全性也够。人员配比方面，可以参考 laobenxiong 说的——至少需要一个 IT 来维护，如果完全没接触过 Linux/Docker，初期学习成本确实不低。
-
@kop-wang
我看了下deepseek-v4-pro满血好像要4张还是3张B200/B300，好像没那个实力，可能只有走deepseek-v4-flash，不知道能满足使用不
业务系统取数的话，我的想法是我统一拿我的高权限的去取，取完存本地，其他的通过本地来查
总之，太难了 -
@c0aster 关于 DeepSeek V4 Flash 能不能跑，给个具体点的参考：
Flash 版本大概需要 8bit 下跑满 685B MoE，单卡 80G 跑不动（激活参数 ~37B 但完整模型太大），至少要 4× A100 80G 或者 2× H200 才跑得舒服。10-20 并发的话，vLLM 配合 continuous batching 可以撑，但 2-4 张卡的压力不小。
如果你的预算是几十万这个级别，更现实的方案是：
方案一：4× A100 80G（大概 25-30 万）
- 跑 DeepSeek V4 Flash，vLLM 做推理服务
- 10-20 并发 OK，但需要配好 prefix caching 和适当降低 max-tokens
- 功耗大概 1200-1600W，还需要一台服务器机箱
方案二：2× A100 80G + Qwen3.6-72B（预算 15-18 万）
- 72B 单机双卡就能跑，剩余预算还可以配一台专门的 ComfyUI 机器（4090/5090）
- 办公写作、问数这些场景 72B 足够了
- 双机分离的好处是 LLM 和 画图/视频的负载不抢显存
关于 PPT 和画图需求：
你说的 NotebookLM + ComfyUI 那条链路确实可行。大模型先生成文案结构 → 调 ComfyUI 工作流出图 → 合成 PPT。但 ComfyUI 最好是独立一张卡跑，跟 LLM 分开，不然显存打架很头疼。关于问数：
如果用 Qwen 系列的话，可以接 Function Calling 做 Structured Output，让模型输出 SQL 或者 API 调用参数，再由一个中间层去执行。不需要让模型自己去爬——模型负责理解语言和生成参数，中间层（Python 脚本/Node.js）负责执行。给个大概的架构建议：
LLM 推理服务器（4×A100 / 2×A100 80G） → vLLM + Qwen3.6-72B 或 DS V4 Flash → 提供 OpenAI 兼容 API 业务中台服务器（普通 CPU 服务器） → 处理鉴权、路由、业务逻辑 → 执行 SQL 查询 / API 调用 → 调用画图接口（ComfyUI） ComfyUI 服务器（1×RTX 4090/5090） → 负责所有图片/PPT 素材生成全是内网隔离，不做外网访问，这样安全性也够。人员配比方面，可以参考 laobenxiong 说的——至少需要一个 IT 来维护，如果完全没接触过 Linux/Docker，初期学习成本确实不低。
-
需求：
前提：因为我们公司不让用外部AI，领导想自建大模型，花费尽可能少，至少也能花个几十W吧。
1、业务人员日常办公使用，如写材料、问答之类的，特别涉及写PPT，我个人觉得notebooklm调nano banana画出来的比较有质感和美感，是否有可行的方案实现类似大模型先丰富材料，然后调comfyui之后的接口画出来。业务使用可能并发在10-20吧
2、处理业务数据，我的想法是可能是openclaw或其他智能体，提前制作好skill让他们去模拟登陆把业务数据取到本地（放数据库？或有更好方案？），然后利用agent或skill等去实现问数、出报表。
3、市场有一些推广营销的图和视频，我们的风格和色调基本固定，有历史 参考营销图和视频，是否能根本每次的营销活动自动出图（先抽卡，然后业务自己再PS等微调，我是这样想的，这方面基本没太多经验）。 -
需求：
前提：因为我们公司不让用外部AI，领导想自建大模型，花费尽可能少，至少也能花个几十W吧。
1、业务人员日常办公使用，如写材料、问答之类的，特别涉及写PPT，我个人觉得notebooklm调nano banana画出来的比较有质感和美感，是否有可行的方案实现类似大模型先丰富材料，然后调comfyui之后的接口画出来。业务使用可能并发在10-20吧
2、处理业务数据，我的想法是可能是openclaw或其他智能体，提前制作好skill让他们去模拟登陆把业务数据取到本地（放数据库？或有更好方案？），然后利用agent或skill等去实现问数、出报表。
3、市场有一些推广营销的图和视频，我们的风格和色调基本固定，有历史 参考营销图和视频，是否能根本每次的营销活动自动出图（先抽卡，然后业务自己再PS等微调，我是这样想的，这方面基本没太多经验）。@c0aster AI制作的方案是完美隔离。它后续说的问题很好解决。部署成功后做个人工培训的周期。2周左右。提前训练下就可以。这个过程是联网的。但是不连你公司的数据。拿一批虚拟的案例训练它即可。这样你们常用的数据就加载全了。之后根据 AI的方案实施就可以了。
个人主页：xlkj.org Telegram https://t.me/xlkjorg
-
@c0aster AI制作的方案是完美隔离。它后续说的问题很好解决。部署成功后做个人工培训的周期。2周左右。提前训练下就可以。这个过程是联网的。但是不连你公司的数据。拿一批虚拟的案例训练它即可。这样你们常用的数据就加载全了。之后根据 AI的方案实施就可以了。
-
我觉得你们领导和用户对本地模型的能力和速度没有感性认识, 不如先申请经费搭建一个最小的本地化原型.
最怕这种大概的需求, 大概率是搭建完之后全是埋怨.
- 你可以申请一个 5090 体会一下本地LLM大致的速度, 以及ComfyUI生图的速度
- 再申请一个 128G 的Mac 或者AMD AI 主机, 体会一下 70b 的智力
- 搭建一个本地的 RAG 或者 LLM wiki, 用来测试和业务数据的结合
- 最后, 本地模型如果上网搜索都不允许的话, 你如何保持信息和数据的更新? 这个也是要考虑的问题.
这套原型搭建下来, 不到10万块. 等跑通了. 剩下的就好办了, 根据并发的需求, 配置1张或者多张 RTX pro 6000 就可以了.
-
@mark 对，有时侯没有实操业务能力的领导会拍脑袋。一定要和领导多对齐，落实到书面。
现在好像做微软的PowerPoint，我没看到有什么好方案。 微软自家收费的M365 copilot我工作中也在用，有agent mode，能帮我把现有ppt里的图片排序、统一字体等简单功能，但是非常非常慢（感觉比vibe coding的反馈速度慢5-10倍。我工作当中都是尽量用markdown+mermaid流程图，挺美观的。
ppt除非微软开放它的文件标准和api，本身就不适合通过AI编程实现自动做ppt的。能不能先租带GPU的VPS（能确保数据安全，不外溢的），先试一下效果，demo一下，看下是不是领导和员工想要的？
另外，如果真的成为生产力刚需了，个人觉得最好要有两台相同的服务器做High Availability和load balancing，一台有故障、回需要软件维护的时候，自动迁移到另一台上。
-
@c0aster AI制作的方案是完美隔离。它后续说的问题很好解决。部署成功后做个人工培训的周期。2周左右。提前训练下就可以。这个过程是联网的。但是不连你公司的数据。拿一批虚拟的案例训练它即可。这样你们常用的数据就加载全了。之后根据 AI的方案实施就可以了。
ai怎么就盯着2024年qwen2.5 72b不放呢？仅用过时的训练数据回答呢？
@blackjack 这么喜欢帮AI纠错。 给你个网站你可以找它问。畅聊。https://chat.deepseek.com/
而且你可以用上科学训练法。好好的发泄下。 -
@blackjack 这么喜欢帮AI纠错。 给你个网站你可以找它问。畅聊。https://chat.deepseek.com/
而且你可以用上科学训练法。好好的发泄下。@blackjack 这么喜欢帮AI纠错。 给你个网站你可以找它问。畅聊。https://chat.deepseek.com/
而且你可以用上科学训练法。好好的发泄下。你得对你发出来的东西负责啊，要不最后都被垃圾淹没了，也就没人来了
-
@c0aster AI制作的方案是完美隔离。它后续说的问题很好解决。部署成功后做个人工培训的周期。2周左右。提前训练下就可以。这个过程是联网的。但是不连你公司的数据。拿一批虚拟的案例训练它即可。这样你们常用的数据就加载全了。之后根据 AI的方案实施就可以了。
-
@blackjack 这么喜欢帮AI纠错。 给你个网站你可以找它问。畅聊。https://chat.deepseek.com/
而且你可以用上科学训练法。好好的发泄下。你得对你发出来的东西负责啊，要不最后都被垃圾淹没了，也就没人来了
-
我觉的你先搭起来个测试环境，给领导看一下，让他体验一下。我用anthingllm这款开源软件配合本地能跑的大模型搭了个测试，内网运行，也好管理。测试完了，你再考虑你的并发数该搭配硬件的配置。
-
我觉的你先搭起来个测试环境，给领导看一下，让他体验一下。我用anthingllm这款开源软件配合本地能跑的大模型搭了个测试，内网运行，也好管理。测试完了，你再考虑你的并发数该搭配硬件的配置。
