@williamlouis
只是把github帖子整理出。
区别在于,玩家可以避免很多坑,这样帖子可以讨论,比如sglang对主板的要求 是否必须要求P2P。dflash MTP到底哪个更适合R9700。你如果不懂不要瞎逼逼就好。
@williamlouis
只是把github帖子整理出。
区别在于,玩家可以避免很多坑,这样帖子可以讨论,比如sglang对主板的要求 是否必须要求P2P。dflash MTP到底哪个更适合R9700。你如果不懂不要瞎逼逼就好。
由于各种模型,各种部署方式,实在是太多了。
建议论坛主,置顶一个帖子,把最近流行的部署方式,尤其是github上的部署方式全部整理上去,包括GPU,使用的推理框架,要求的TP技术。可以长期置顶,这样不仅可以提高阅读量,还可以有具体的方案供大家查阅,避免大家踩坑。
只是建议,谢谢~
显卡非直连 是什么意思?官方不就是给的MXFP4方案?
7900XTX
双卡7900XTX 得用PCIE延长线,把另一张卡引出来。而且双路是跑不了双卡TP的。只能单路跑双卡TP
这个模型就32GB,对于普通用户,能带动的卡只有:
W7900 48GB
4090 48GB
游戏显卡双7900xtx 除了开放式机箱,机箱内放两个不成立。
@williamlouis 我是在linux 下用的,生视频、生图R9700不是默认也可以吗?
Qwen3.8-Flash-Next UD-Q3_K_XL 这个是不是有点缩水太多了
@Quanta-Magic 同问,我要放在家里,一直没敢买,不是怕性能和配置,是怕家人烦,没法用。
两张R9700 32GB和一张4090 48G魔改卡,哪个更有性价比?
AMD Radeon AI PRO R9700(RDNA4,NAVI48,64CU,256-bit GDDR6,137 TFLOPS FP16 稠密算力、32GB 显存。R9700 容量:64GB > 48GB,而且翻倍2×32 = 64GB,比魔改 48G 多出 1/3。跑本地大模型意味着量化后的 70B 级别模型(Q4/Q5)可以完整塞进显存。
NV 4090 48GB
4090 48G 魔改 = 在 4090 主板上重焊 3GB GDDR6X 颗粒改出的非官方 48GB。48GB 魔改卡是手工 BGA 重焊 + 改 BIOS/vBIOS 解锁显存:原厂保修全无、稳定全看焊工水平;高温下 GDDR6X 出错率明显上升。但是4090 48GB 原生NV 生态不用折腾,而且不用考虑双卡TP通信。
选什么比较合适呢?