编剧从业部署AI，求助！
-
我个人的理解:
1, 长篇写作大参数的模型会比较有优势, 也就是说模型的知识面要宽. 最好是70B以上的模型, 或者更大参数的MOE模型. 但这类模型对显存和算力的要求很高.
2, RAG无法解决你写作的连续性, 只能帮你做某个专题或者话题的分析总结等等. 也就是说能间接帮助, 不能直接用于串联你最终的剧本生成.
3, 3万字中文大概就是 30K tokens左右, 不算很长, 假设你的所有辅助资料(比如世界观, 背景, 人物, 地点, 关系, 事件....) 也不是很大的话. 本地LLM是完全可以一次性吃下的. 一致性应该可以保持不错.
所以, 我的建议是,
1, 如果数据保护不是问题, 优先在线大模型.
2, 本地模型, 参数规模优先, MOE优先, 比如 Mixtral-8x7B, Qwen 35B 或者 Qwen 72B, llama 70B等
3, RAG如果只是公开的电影资料库, 自己做的意义不大, 除非有大量私有内容.模型对显存的要求, 可以大致按照 模型参数X2/量化比特数 来计算. 以 72B, 4bit量化为例, 大致需要 72*2/4 = 36G 显存, 再加上给上下文的KV cache预留, 至少48G显存起步.
所以建议本地部署的话, 可以用RTX pro 5000 72G 或 48G, 或者用统一内存的 128G(速度会慢, 但是能跑), 如Mac, NVIDIA的Spark, 或者AMD的 395.
另外, 我对这个话题非常感兴趣, 希望楼主能够折腾成功, 多分享经验!
-
编剧从业，想做AI本地部署。目前有m1max 32g。戴尔730xd。想做rag，塞满个人电影资料库。部署AI写电影剧本。求指导。
想问下，730xd上部署大模型可行吗？需要什么级别的显卡。最低价格，舒适级别？
实现，能调用本地rag资料库。有长文本记忆。电影剧本一般3万字左右。需要AI提供创作辅助。故事大纲的设计。台词的润色。情节走向推理辅助。
目前偏重剧本。后期，可能想做视频生成。目前的话730xd能作为主力机器部署本地Ai吗？
技术小白，求指导！感恩。 -
@Bukong-Li 你不需要RAG，编剧，写剧本属于通用模型智能的一部分，你可以尝试使用Deepseek V4 Pro + Hermes，我视频里有谈到过如何写作，创作小说，对Agent不懂的话可以用Gemini的Gem功能。
@terry 剧本写作需要多轮复杂对话，可能涉及几十万字的长文本记忆。线上模型我试过Gemini，claud，gpt。免费版对话几句就没token了。付费版我没试，但是感觉也不会够用吧。
另外，想做rag是想沉淀自己的写作风格，让ai能从自己放进rag的资料进行有控制的生成。rag不只是剧本，可能有小说，编剧工具书等。可能放进去几千部电影剧本，不同题材会分类。人物性格，人物关系等。所以做rag没必要吗？
730xd对3090，4090具体哪里支持不够呢？我是
想先给730配个显卡，做文字剧本生成。后期生视频在升级整体硬件。不知道行不行。还是说直接升级硬件？ -
我个人的理解:
1, 长篇写作大参数的模型会比较有优势, 也就是说模型的知识面要宽. 最好是70B以上的模型, 或者更大参数的MOE模型. 但这类模型对显存和算力的要求很高.
2, RAG无法解决你写作的连续性, 只能帮你做某个专题或者话题的分析总结等等. 也就是说能间接帮助, 不能直接用于串联你最终的剧本生成.
3, 3万字中文大概就是 30K tokens左右, 不算很长, 假设你的所有辅助资料(比如世界观, 背景, 人物, 地点, 关系, 事件....) 也不是很大的话. 本地LLM是完全可以一次性吃下的. 一致性应该可以保持不错.
所以, 我的建议是,
1, 如果数据保护不是问题, 优先在线大模型.
2, 本地模型, 参数规模优先, MOE优先, 比如 Mixtral-8x7B, Qwen 35B 或者 Qwen 72B, llama 70B等
3, RAG如果只是公开的电影资料库, 自己做的意义不大, 除非有大量私有内容.模型对显存的要求, 可以大致按照 模型参数X2/量化比特数 来计算. 以 72B, 4bit量化为例, 大致需要 72*2/4 = 36G 显存, 再加上给上下文的KV cache预留, 至少48G显存起步.
所以建议本地部署的话, 可以用RTX pro 5000 72G 或 48G, 或者用统一内存的 128G(速度会慢, 但是能跑), 如Mac, NVIDIA的Spark, 或者AMD的 395.
另外, 我对这个话题非常感兴趣, 希望楼主能够折腾成功, 多分享经验!
@Tony-Wang 补充 pro 6000 Max- Q 96G现在的价格也在接受范围。还没破10W 就能拿到。
-
而且 噪音控制要优于 服务器和工作站版本。实体讲就是很好。能做到普通人可接受范围内。测试视频我看了测了分贝。52的峰值。嫌声音大直接功耗墙控制一下就可以了。
-
@Bukong-Li 你不需要RAG，编剧，写剧本属于通用模型智能的一部分，你可以尝试使用Deepseek V4 Pro + Hermes，我视频里有谈到过如何写作，创作小说，对Agent不懂的话可以用Gemini的Gem功能。
-
编剧从业，想做AI本地部署。目前有m1max 32g。戴尔730xd。想做rag，塞满个人电影资料库。部署AI写电影剧本。求指导。
想问下，730xd上部署大模型可行吗？需要什么级别的显卡。最低价格，舒适级别？
实现，能调用本地rag资料库。有长文本记忆。电影剧本一般3万字左右。需要AI提供创作辅助。故事大纲的设计。台词的润色。情节走向推理辅助。
目前偏重剧本。后期，可能想做视频生成。目前的话730xd能作为主力机器部署本地Ai吗？
技术小白，求指导！感恩。 -
@terry 剧本写作需要多轮复杂对话，可能涉及几十万字的长文本记忆。线上模型我试过Gemini，claud，gpt。免费版对话几句就没token了。付费版我没试，但是感觉也不会够用吧。
另外，想做rag是想沉淀自己的写作风格，让ai能从自己放进rag的资料进行有控制的生成。rag不只是剧本，可能有小说，编剧工具书等。可能放进去几千部电影剧本，不同题材会分类。人物性格，人物关系等。所以做rag没必要吗？
730xd对3090，4090具体哪里支持不够呢？我是
想先给730配个显卡，做文字剧本生成。后期生视频在升级整体硬件。不知道行不行。还是说直接升级硬件？@terry 剧本写作需要多轮复杂对话，可能涉及几十万字的长文本记忆。线上模型我试过Gemini，claud，gpt。免费版对话几句就没token了。付费版我没试，但是感觉也不会够用吧。
另外，想做rag是想沉淀自己的写作风格，让ai能从自己放进rag的资料进行有控制的生成。rag不只是剧本，可能有小说，编剧工具书等。可能放进去几千部电影剧本，不同题材会分类。人物性格，人物关系等。所以做rag没必要吗？
730xd对3090，4090具体哪里支持不够呢？我是
想先给730配个显卡，做文字剧本生成。后期生视频在升级整体硬件。不知道行不行。还是说直接升级硬件？1, 公开的知识没有太大必要放在RAG里, 在线大模型只要参数够多, 他们基本都能覆盖. 你自己的笔记, 灵感等放在RAG里有意义.
2, RAG每次只能召回相关的一部分内容, 适合你搜索分析总结等, 对你的创作肯定有帮助, 但它没法帮你保持你整个剧本的长期记忆.
3, 如果想沉淀自己的写作风格, 可以用自己的文本去训练一个LORA. 这个是 @terry 教我的, 文本LORA我没训练过, 我只训练过视觉的LORA.
4, 多轮对话和上下文的控制, 可能需要一些技巧. 比如你不要通过一次性的多轮对话来生成全部内容. 而是通过设置好整个背景设定+已经写出的所有内容, 来生成一段新的内容, 这段内容稍微短一些, 比如一章, 比如 4096个token. 然后针对这段内容进行多轮对话修改. 满意之后再开始新对话进行下一轮, 新对话还要包括全部背景设定和已经生成的内容, 这样它不会忘记.
---- 这一段是我的想象, 我没有做过长篇内容的生成, 不过我觉得是有优化空间的.因为你的剧本预计全部只有3万字, 每次全部内容加载, 再加上一段4096 tokens 的多轮滚动, 256k上下文我觉得应该是够用的.5, 没有隐私内容的话, 还是建议购买在线大模型试一下, 在线大模型很多都支持1M以上的上下文.
