律师找到了我了

[Devin Hi]

本人有一个律师事务所的朋友，他们可能需要对他们客户的资料进行分析，因为涉及机密，所以不能用公有云和大模型，朋友找到我，其实朋友感觉也不是很懂，一上来就和我说要120b模型。。。。。。 ，问我需要什么样的配置. 对于此，我并不是特别胸有成竹，所以上来求助各位大神给推荐一个硬件配置，并发数应该不大，最高3-4人。

越详细越好，本人特感谢。

[深圳律师陈扬波]

此主題已被删除！

[kop wang]

个人建议是先找一个硬件租赁平台，用公开数据先跑一个demo实验，确定功能性和企业需求相契合再推敲方案。
最起码要有一些定量信息作为标的参考，比如信息总量是多少，成功率/采纳率要多少，性能指标要多少。

否则闷头做方案过于被动，无论是从最终效果呈现上，还是说从商业流程上。

[kop wang]

此主題已被删除！

[深圳律师陈扬波]

此主題已被删除！

[kop wang]

此主題已被删除！

[Devin Hi]

初步沟通：准备部署deepseeek V4 flash 4张 A100 配套的都有啥？有兄弟有实际经验分享没有？

[kop wang]

@Devin-Hi 如果有更新的信息，可以单独发一帖或者编辑下标题和正文，这样更容易吸引到大佬

[mark]

此主題已被删除！

[mark]

此主題已被删除！

[九龙杨生]

@Devin-Hi 个人认为单张卡就行了，3-4人应该也不会说需要分析特别多的案子，可能刚开始积累的案子都分析了，后面机器利用率其实就比较低了，一个案子估计几十万或者复杂点上百万的卷宗文字对机器来说负荷都比较低的，甚至上千万的数据都不算多。
主要还是追求上下文长度和精确度，就是说要大显存来容纳高精度和上下文，因为大模型的读取速度和思考速度不一样的，我用的RTX6000用QWEN3.6 27B FP8模型字符读取速度最多能到8万字符每秒，但是字符输出速度50-200token/秒平均在90多；输出的都是精炼了的东西。
你这种专业领域比较偏向的，感觉是不是MOE那种专家模型会好一些。

[深圳律师陈扬波]

此主題已被删除！

[深圳律师陈扬波]

此主題已被删除！

[深圳律师陈扬波]

此主題已被删除！

[johnnybegood]

@Devin-Hi 直接 rtx 6000 pro 双卡

[Devin Hi]

@九龙杨生 如果用QWEN3.6 27B FP8模型字符，感觉的确这个硬件配置不用这么高，6000 应该可以了，但主要是不知道使用效果，这个硬件也不好进行迭代。所以比较慎重。当然也不想花冤枉钱。