@terry 哎呦,您说呢,这就给老板端上来了。昨晚没有光照,刷到贵站只能从硬盘上找了个合计 pdf。


今天早上光照好,刚好补拍一下。好久没搞机,有些都记错了,刚好掀开盖子看了一下,更正在这里:
- 主板电源是 1300w
- 之前是 6 x GPU 其中两个 3060,后面把 3060 替换成了一个 5070 Ti,所以总数现在是 5 个。
连 gpu 数量都说错了,丢人丢大了。



25 年装的,总共 6 个 GPU,还有一个 pcie 槽没插,因为即使 6 个也有时候会让住所停电(加拿大老化电网,没办法)
当年买是为了想着学 AI,可惜后面和学术渐行渐远,不过今年至少发挥了价值,帮我运行 qwen 3.8 27b 8bit 刚刚够(sglang + bs4 + 图片处理),有时候还可以稍微支持一下我 highclaws 服务器上产品的流量。
有问题留言我尽量解答。
@terry 多卡主要是算力强,也就是 prefill 和大 batch size 比 mac 那些肯定强。而且多卡性价比不错,比较来两个 pro6000 钱包就没了。
我觉得 qwen 27b 比 next flash 也差不了多少,搞 Strata 要量化到 4 bit 以下,而且听说 qwen next 经常陷入死循环,就没有尝试。平时跑 27b 就够了。
但这个机器比起专业科研还差远了,即使用来支撑我个人云 agent 产品,也是杯水车薪。拿来跑生视频也慢得很,longcat video 几十分钟要跑一晚上。
现在看唯一让我觉得值的是,如果你想学 llm,说不定用这套硬件从头训练一个 1b 以下的。这个教育价值拉满。还有就是拿来跑特别费 token 的任务,比如让 AI 去社媒上冲浪交友,电费花起来不心疼。