交作业：X99 CD3+E5 2666 +128G DDR3 + AMD AI Pro 9700，成功安装ubuntu，等不及跟大家分享。后续再更新

[Chungen Jiang]

Chungen-Jiang 说:

终于把llama.cpp 弄好了。自己太贪心了，捣鼓了很久，什么也没成功，差点儿想切换会windows.跪着也得弄完，静下心来，一点点儿来，先弄的大模型跑起来，再继续配置。小步慢跑，成就感是继续的动力。

跑27B 稠密，生成token 时候，风扇的声音还是比较大的。

[Billy Shen]

@Brian 说:

24

Ubuntu 24.04 LTS， Python 3.12， 要装个完整的 nVidia toolkit

[Chungen Jiang]

配置好了Open WebUI，又下载了35B A3B ，能够70 tk/s. 继续。

[terry]

@Chungen-Jiang 你还是部署27b吧，优化下速度也能上来，35b不行。

[倭寇国を滅ぼす]

哇咔咔，我打算X79+2667 V22+128G+R97002（未购入），一张跑QWEN3.6 27B一张跑wan2.2，但是一直不清楚，QWEN3.6 27B，输入速度怎么看，X79和X99差距对推理提升不是很大，就没升级X99的动力了。部署QWEN3.6 27B的问题在于，kvcache能不能打满256B，并且能支持几个并发，很关心，选MTP还是DFLASH+googeKV缓存技术。

[倭寇国を滅ぼす]

https://github.com/jagsan-cyber/turboquant-rocm-llamacpp ，DFLASH+TurboQuant+AMD R9700 直接支持了，QWEN3.6 27B跑量化6，还保持256K上下文实现了。

[terry]

@Chungen-Jiang 那是肯定，出了xtx这样的大风扇，我的4090也是狂转。

[Chungen Jiang]

@倭寇国を滅ぼす 说:

哇咔咔，我打算X79+2667 V22+128G+R97002（未购入），一张跑QWEN3.6 27B一张跑wan2.2，但是一直不清楚，QWEN3.6 27B，输入速度怎么看，X79和X99差距对推理提升不是很大，就没升级X99的动力了。部署QWEN3.6 27B的问题在于，kvcache能不能打满256B，并且能支持几个并发，很关心，选MTP还是DFLASH+googeKV缓存技术。

27B目前没做任何优化，是26tk/s ，感官上来看，推理有些慢，但是还可以忍受。纯纯小白，学习中。

[terry]

@Chungen-Jiang 这个速度正常，优化下可以提升不少，论坛有xtx的作业，也有R9700的，照抄就好了。

[tmp tmp]

@Chungen-Jiang 说:

到目前配置的价格：
X99 CD3 + E5 ：548 元 （可以考虑买贵一点的主板，带Wi-Fi的，这个主板不带wifi，我连接的网线）
内存：128G DDR 3 288*4 = 1152 。（看其他人，64G似乎就可以。）
显卡：AMD AIPRO 9700 蓝宝石 10999元
机箱；长城铁幕 H504B 206元
电源：长城 1200W F12 729元
硬盘：致态 长江存储 1 TB SSD 1049元 。 （最好加一块HDD，SSD 可能会丢数据，我还没有买。）

合计：约 14733 元

这台机器，满载功耗和待机功耗大概有多少啊？

[sospda]

估计550W左右， 满载。 待机功耗70w左右。 估计的，r9700我有， E5我也有，但组合在一起没有跑过。

[Chungen Jiang]

我不知道怎么查。我让kimi帮我算了一下。	状态	DC端功耗	AC端功耗（含电源损耗）
满载	约 470W	约 525W
待机	约 83W	约 92W

[sospda]

我给的数字就是AC端功耗。 实际上我用的时候，满载最大功耗480W ， 待机最低功耗58W。考虑到E5待机比我现在电脑高10W ， E5待机算是70W. 满载算得是550W 。这个数字还是相对靠谱的。 是用功率插座测试得到的实际功耗。r9700的待机功耗非常低。整机加起来才58W。