律师找到了我了
-
本人有一个律师事务所的朋友，他们可能需要对他们客户的资料进行分析，因为涉及机密，所以不能用公有云和大模型，朋友找到我，其实朋友感觉也不是很懂，一上来就和我说要120b模型。。。。。。 ，问我需要什么样的配置. 对于此，我并不是特别胸有成竹，所以上来求助各位大神给推荐一个硬件配置，并发数应该不大，最高3-4人。
越详细越好，本人特感谢。
-
@Devin-Hi 个人认为单张卡就行了，3-4人应该也不会说需要分析特别多的案子，可能刚开始积累的案子都分析了，后面机器利用率其实就比较低了，一个案子估计几十万或者复杂点上百万的卷宗文字对机器来说负荷都比较低的，甚至上千万的数据都不算多。
主要还是追求上下文长度和精确度，就是说要大显存来容纳高精度和上下文，因为大模型的读取速度和思考速度不一样的，我用的RTX6000用QWEN3.6 27B FP8模型字符读取速度最多能到8万字符每秒，但是字符输出速度50-200token/秒平均在90多；输出的都是精炼了的东西。
你这种专业领域比较偏向的，感觉是不是MOE那种专家模型会好一些。 -
@Devin-Hi 直接 rtx 6000 pro 双卡
@johnnybegood 假如預算夠 我也會推薦雙卡 畢竟 RTX Pro 6000 價格一直漲, 同樣型號的卡做PP and TP 都很方便 應付未來3~5年應該夠
-
謝謝大大, 等你分享！對了, 我剛好手機裡有一些實務案例的照片和規格 順便分享一下
案例一：可以參考修改成一張RTX Pro 6000
案例二：低成本版 大Memory 烏龜速度 (2 x Mac Mini + 1 x ASUS Ascent GX10 128GB LPDDR5x 頻寬 273GB/s)是利用Codex on Mac Mini來爬取收集網路上2000萬筆的公開資料 相關配置可以改成隱私版本, Ascent GX10 負責處下載後的本地資料ps. 目前性價比最高的好像是Mac Studio M3 Ultra ?
-
謝謝大大, 等你分享！對了, 我剛好手機裡有一些實務案例的照片和規格 順便分享一下
案例一：可以參考修改成一張RTX Pro 6000
案例二：低成本版 大Memory 烏龜速度 (2 x Mac Mini + 1 x ASUS Ascent GX10 128GB LPDDR5x 頻寬 273GB/s)是利用Codex on Mac Mini來爬取收集網路上2000萬筆的公開資料 相關配置可以改成隱私版本, Ascent GX10 負責處下載後的本地資料ps. 目前性價比最高的好像是Mac Studio M3 Ultra ?
