能不能让Strata Qwen Flash Next 指挥 Qwen 27B?
-
-
-
-
-
-
如何最大化手头现有硬件?能不能让Strata Qwen Flash Next 指挥 Qwen 27B?
DELL T7920工作站
在北美不方便淘海鲜市场的情况下,DELL T7920工作站还是非常香的。
我$300在本地拿下了一台 单CPU + 32GB DDR4 2666 + NV P2000亮机卡的配置。由于它自带了1100W电源(在220V电压下输出是1400W)。要知道在北美,一个1000W ATX电源就要$100多。32GB DDR4内存值$120,剩余相当于白送。我本地捡漏又花了$160,增加了64GB内存。我现在有台DELL T7920工作站,理论上能插双显卡。
现在是单CPU,单R9700,96GB内存6通道插满(运行Proxmox,需要预留16GB给几个轻量VM和系统)。
一块早年买的U.2 960GB Optane 905p PCIE3.0x4(延迟低,随机读写快,但持续传输不如 PCIE 4.0以上的NVME),安放Proxmox的虚拟机。以上配置跑Strata Qwen Flash Next 很香了,但看论坛里普遍反馈Flash Next的知识面虽然全,但代码的逻辑四维不如27B。
ITX PC
我还有一台ITX PC,平时的主力机(偶尔打打游戏)
AMD 5900x + 32GB内存 + 7900XT 20GB(塞不进DELL工作站)。这个跑Qwen 27B用llama.cpp的框架 上下文保险只能开60k。问题
-
能不能让Flash Next做分析,指挥我的7900XT(就是上下文不太够)干活?补足Flash Next逻辑能力不足。不花一分钱。
-
有点心痒想给T7920加一张卡,但是军备竞赛也没有意义,够用就好。
看图:
a) 5070Ti 16GB没有双槽卡,约$1200,如果装插槽4,确实可以支持2.5slot 5070Ti (但是选择极其有限),并且会给插槽2的R9700喂热风。优点是可以玩一下N卡,万一以后有些50系新特性被优化了。
b) 5060Ti 16GB有双槽卡,安装位置和R9700对调,这样不给R9700喂热风。但工作在PCIE3.0 x8 可能影响strata性能。相同优点
c) 第二张R9700,现在很贵了$1600。如果我能用好现在的7900XT的话,好像也没啥必要性。
d) 基本不可行的是:虽然安装CPU2能让顶部的PCIE插槽可用,但CPU2会占掉150W功耗,双CPU+双显卡,电源有点捉襟见肘了。

-
-
-
-
-
@fcme 我现在就是PVE,唯一的代价是需要预留8-16GB给Proxmox系统,折腾新系统直接从基础款的template克隆,PCiE直通的损失在5%以内。折腾时,随时快照一下,搞坏了可以回滚。