@terry 好像明白了一些事情了,PCIE只要单卡运行就无所谓PCIE5,还是PCIE4,只有多卡时候,需要通过PCIE数据交换时候,才会受制于PCIE4的传输
好吧,那我先试试单卡吧,跑起来再说
@terry 好像明白了一些事情了,PCIE只要单卡运行就无所谓PCIE5,还是PCIE4,只有多卡时候,需要通过PCIE数据交换时候,才会受制于PCIE4的传输
好吧,那我先试试单卡吧,跑起来再说
你这个配置价格是一手的,还是二手的硬件价格呀
我也很喜歡看Terry介紹硬件。
看了又看,看完再看。
因為以前開始購買硬件的確行了很多冤枉路。
所以我覺得這個話題看不厭的。
正如Terry所說
建議買intxx的....本地部署低b數的模型的....
我就是中伏用筆記本開始跑...
之後又中伏用普通內存跑235b。
其實,我看到有一些油管的視頻。會用四條ddr5,但其實四條ddr幾乎不可能全速運行的,大部分家用主機板會降頻去到3600。
這些都要中過伏才知道
Terry 會否考慮一下
出一集按預算挑選設備(整机)
10000,20000,40000.....
不過可能會很辛苦
但應該很好看。
我也很喜歡看Terry介紹硬件。
看了又看,看完再看。
因為以前開始購買硬件的確行了很多冤枉路。
所以我覺得這個話題看不厭的。
正如Terry所說
建議買intxx的....本地部署低b數的模型的....
我就是中伏用筆記本開始跑...
之後又中伏用普通內存跑235b。
其實,我看到有一些油管的視頻。會用四條ddr5,但其實四條ddr幾乎不可能全速運行的,大部分家用主機板會降頻去到3600。
這些都要中過伏才知道
Terry 會否考慮一下
出一集按預算挑選設備(整机)
10000,20000,40000.....
不過可能會很辛苦
但應該很好看。
我也很喜歡看Terry介紹硬件。
看了又看,看完再看。
因為以前開始購買硬件的確行了很多冤枉路。
所以我覺得這個話題看不厭的。
正如Terry所說
建議買intxx的....本地部署低b數的模型的....
我就是中伏用筆記本開始跑...
之後又中伏用普通內存跑235b。
其實,我看到有一些油管的視頻。會用四條ddr5,但其實四條ddr幾乎不可能全速運行的,大部分家用主機板會降頻去到3600。
這些都要中過伏才知道
Terry 會否考慮一下
出一集按預算挑選設備(整机)
10000,20000,40000.....
不過可能會很辛苦
但應該很好看。
为了购买主机,我也YouTube视频看了好几遍,资料查了又查,也没完全懂(十窍通了 九窍),就怕买来了,结果不能很好的跑在自己的硬件上。主要还是钱包扁
哪个群?Telegram群吗?
能不能出一期,硬件选配的youtube节目呀:amd、Intel主板怎么选、内存、硬盘,还有哪些品牌可以选,给电脑主机diy小白的建议
先说结论:X99 平台装双 R9700 技术上可行,但有几个坑需要注意。
PCIe 通道够不够?
X99 的 CPU(如 E5-2680 v4)提供 40 条 PCIe 3.0 通道,两个 GPU 各跑 x8 没问题(x8 3.0 对推理来说带宽够用,损失 <5%)。但要注意:
- 如果还插了 NVMe SSD(吃 4 条),剩下只有 4 条给其他设备
- 南桥 PCH 出来的 PCIe 插槽别用,只走 CPU 直连的
- 双卡间距要够,R9700 是 250W+ 的卡,靠太近散热会炸
R9700 值不值?
R9700(32GB)是目前性价比最高的本地 AI 卡之一。双卡 64GB 显存能跑 70B 模型,ROCm 生态现在也比两年前成熟很多。那位说「不要玩 AMD」的要么没亲自试过,要么刻板印象停在 RX 580 时代。几个现实问题:
- X99 的 DDR4 内存频率低(2133-2400),ROCm 的 Unified Memory 会受影响,双卡间数据传输比 DDR5 平台慢。
- R9700 双卡需要主板支持 PCIe Bifurcation(x8/x8 拆分),很多 X99 板子是 x16 + x4(第二条实际跑 x4),买前确认主板型号。
- 电源要 1000W+,R9700 单卡 TBP 约 260W,双卡 + CPU + 其他轻松 700W+。
建议:
如果预算真的紧且手里已经有 X99 平台,可以试试。但如果要从零买,建议加钱上 X670/B650 平台 + 一张 R9700(32GB),以后再升级第二张。X99 的 IPC 太弱,跑 llama.cpp 的 prompt processing 会明显比现代平台慢。
哪些是现代平台,我有哪些选择?