<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[双路Z8G4+4组V100显卡坞折腾手记]]></title><description><![CDATA[<p dir="auto">想捡垃圾进图吧，半个网吧带回家...</p>
<p dir="auto">为了满足以下需求：</p>
<ul>
<li>并行跑多个harness (20+)，每个都需要较大的工作区。我现在丐版mac-mini已经存储94%满了...</li>
<li>作为编译农场，做Android (AOSP)、Chrome、还有一些android/linux包的编译工作。</li>
<li>尝试本地大模型，加深对于CUDA的理解</li>
<li>需要支持远程登录 - 因此我选了xubuntu 26.04.1，这样方便远程rdp+xfce。</li>
</ul>
<p dir="auto">我决定自己的homelab里组一台机器，现在的配置是这样的：</p>
<p dir="auto"><em><strong>【高性能工作站 - 约￥30000元，已全到货还没启动过，下一步是测试全机兼容性】</strong></em></p>
<ul>
<li><strong>准系统</strong>：HP Z8G4 1700w高电版 <em>它的电缆插头是特殊的，和1450w版本不一样</em></li>
<li><strong>CPU</strong>：Xeon 铂金二代 8272CL x2 <em>未测兼容性 - 这个可能要高VCC - 希望不要翻车。我不小心买了3块... 后边如果实在有兼容性问题，我就换8269CY。</em></li>
<li><strong>内存</strong>：DDR4-ECC-2666 16GB x12 <em>现在内存是在是太贵了！想买32GB的没舍得下手。</em></li>
<li><strong>傲腾内存</strong>：PMEM100 128GB x12 <em>这个是本案的匠心之一，成不成的要看实测了。傲腾内存的速度是一般内存的1/3，但胜在价格便宜量又大。其实如果仔细来算的话，它的速度是不如DDR3的...BIOS里设定成app-direct，后边软件部分有说明。</em></li>
<li><strong>工作存储盘</strong>：Intel P4618 6.4T AIC <em>这个卡会出来两个3.2T的盘，我计划在BIOS里用Intel自家的RST做个RAID0，这样可以充分发挥出实力。</em></li>
<li><strong>数据存储盘</strong>：西部数据HC620 14T HDD x7 <em>HC620是一块HM-SMR，很难驾驭，也因此价格极为便宜。可以把它想象为一盘更高效的磁带。这里需要做dm-zone (见下)。7个盘在ZFS里做RAIDZ1。工作站原生支持4块硬盘，另外3块是把工作站的双光驱位做了个2转3硬盘笼子 - 但原位深度很短，所以笼子顶在了机箱外边，不太美观。</em></li>
<li><strong>数据存储盘的缓存</strong>：Intel D4800x 1.5T 魔改开通双通道连PCIE <em>傲腾SSD本身延迟极低，正好拿来做前边HDD的cache，合在一块儿可以当做Hybrid HDD来看啦。分配是48GB/HDD，剩下的正好做ZFS的special_vdev存小文件，同时ZIL/SLOG。</em></li>
<li><strong>亮机卡</strong>：Nvidia P1000, 4G VRAM <em>反正不用额外插电</em></li>
<li><strong>网卡</strong>：Intel AX210 _对，我这里就是暂时没接网线，还得WIFI... 我抓紧改造吧... _</li>
</ul>
<p dir="auto"><em><strong>【高性能算力卡坞 - ￥9500，已到货但还未点亮测试】</strong></em></p>
<ul>
<li><strong>算力卡</strong>：V100 16G SMX x4 <em>最大的问题是CUDA支持版本低，对于低精度的算子支持差。我也想买32G的啊，可惜太贵了。</em></li>
<li><strong>主板、散热、机箱</strong>：4路全连通NVLink、每卡360冷排散热、机箱也是定制机箱 <em>NVLink算个亮点吧。</em></li>
<li><strong>连接方式</strong>：每个GPU产出一个PCIE3x8，一共4路。两根一组连接到主板上的两个PCIEx16直通卡上。BIOS里需要把x16设置为x8x8的模式。</li>
</ul>
<p dir="auto">朋友们，货都到了，也装得差不多了。即将是点亮的时刻，让我们一起拭目以待吧... 后边如果顺利的话会进一步更新软件的设定部分：</p>
<ul>
<li>HHDD的具体配置 (dm-zone + ZFS) 和性能</li>
<li>傲腾内存为DRAM做tiered LRU热备 (kmem) 和性能</li>
<li>Strata + 4卡V100 跑deepseek-v4.1-flash (1017) <em>目前的strata是不支持deepseek的，好在有开源fork；目前的deepseek是不支持4卡并行的，好在strata里有个参考实现... 我打算vibe coding一下，看能不能支持后，可以反馈回社区。</em></li>
</ul>
<p dir="auto"><em>(未完待续)</em></p>
]]></description><link>https://lcz.me/topic/2580</link><generator>RSS for Node</generator><lastBuildDate>Sun, 25 Oct 2026 22:49:12 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2580.rss" rel="self" type="application/rss+xml"/><pubDate>Sun, 25 Oct 2026 18:09:10 GMT</pubDate><ttl>60</ttl></channel></rss>