律师找到了我了
-
@Devin-Hi 个人认为单张卡就行了，3-4人应该也不会说需要分析特别多的案子，可能刚开始积累的案子都分析了，后面机器利用率其实就比较低了，一个案子估计几十万或者复杂点上百万的卷宗文字对机器来说负荷都比较低的，甚至上千万的数据都不算多。
主要还是追求上下文长度和精确度，就是说要大显存来容纳高精度和上下文，因为大模型的读取速度和思考速度不一样的，我用的RTX6000用QWEN3.6 27B FP8模型字符读取速度最多能到8万字符每秒，但是字符输出速度50-200token/秒平均在90多；输出的都是精炼了的东西。
你这种专业领域比较偏向的，感觉是不是MOE那种专家模型会好一些。 -
本人有一个律师事务所的朋友，他们可能需要对他们客户的资料进行分析，因为涉及机密，所以不能用公有云和大模型，朋友找到我，其实朋友感觉也不是很懂，一上来就和我说要120b模型。。。。。。 ，问我需要什么样的配置. 对于此，我并不是特别胸有成竹，所以上来求助各位大神给推荐一个硬件配置，并发数应该不大，最高3-4人。
越详细越好，本人特感谢。
@Devin-Hi 直接 rtx 6000 pro 双卡
-
@Devin-Hi 个人认为单张卡就行了，3-4人应该也不会说需要分析特别多的案子，可能刚开始积累的案子都分析了，后面机器利用率其实就比较低了，一个案子估计几十万或者复杂点上百万的卷宗文字对机器来说负荷都比较低的，甚至上千万的数据都不算多。
主要还是追求上下文长度和精确度，就是说要大显存来容纳高精度和上下文，因为大模型的读取速度和思考速度不一样的，我用的RTX6000用QWEN3.6 27B FP8模型字符读取速度最多能到8万字符每秒，但是字符输出速度50-200token/秒平均在90多；输出的都是精炼了的东西。
你这种专业领域比较偏向的，感觉是不是MOE那种专家模型会好一些。
