抡锤者

X] 自动翻译成代币 - 27b awq 我也想, 9b 已使 20GB VRAM!

今天花了一整天時間在 Ubuntu 上安裝 SGLang

目前在 Qwen 9B 上可以正常運作：
python -m sglang.launch_server --model-path ~/AiModel/Qwen3.5-9B --host 0.0.0.0 --port 8000 --mem-fraction-static 0.8 --context-length 16384 --reasoning-parser qwen3 --kv-cache-dtype auto

目前大概能达到 40 个Token/s

還需在 Qwen 27B AWQ 進行一些設定。

vllm安装更容易 ~
各位大神有什么秘诀吗？请赐教！

3090 真的是火热 我记忆体都跑105度C。 电已经 减少到75% Micron GDDR6x 没事的

等下个月苹果m5 mini出来吧。32G 够用。 反正 Hermes Computer-Use 目前也只支持苹果

@terry 哎呀，对我傻傻的忘了要用vLLM tensor parallel size 2. SG-Lang还没用过 好像不可以用Q4 KV？就是看到 Windows L M Studio 还以为可以试一下。

@stakira 5060Ti #2 仍未收到. 上面有同仁發的速度可以參考。vLLM 环境我会尽快搞。

RTX 3090 双卡LlamaCpp相关内容，在另一篇帖子中可查看。

双卡配置我试过，我速度比单卡还要慢。看来还需要进一步优化。小弟技术烂 ~
Windows 系统搭配 LM Studio，且受限于 PCI SLI Link。
至于 NVLink，售价高达 400 到 500 美元，目前没计划入手。

RTX 3090 单卡运行 Qwen 27B (Q4 量化) 时，速度约为 38 token/s。(Full Power, None Thinking/Reasoning, Voltage Curve GPU +100, Mem +500)

*** 功率限制 80% *** 内存温度保持低于 100°C *** Thinking/Reasoning
RTX 3090 双卡运行时，Q4 量化速度为 23~25 token/s；Q6 量化为 23 token/s；Q8 量化则在 22~23 token/s 之间。

我目前的计划是使用单卡配置，但同时运行两个（Agent），每个Agent加载 Qwen 27B 模型进行对话。

好吧，出来吹吹。286 8MHz 640k要多加384K的記憶體，還要一颗一颗自己插到主機板上。DOS + UNIX + FreeBSD。IBM加速显卡价钱可以买到一台新车。TSENG Diamond SpeedStar 出来大家惊为天人。Riva128 后来才出生。
说实在品牌不要看得太重，同一个品牌也有好有坏。个人适合就行了。

RTX3090 更新记忆前后的散热。温度一定要看着点。

@terry 好的，我做了RTX 5070 Ti加上RTX 5060 Ti 16GB. PCIe 3.0x4 Bus. Qwen3.6-27b 速度还可以Q4有26.7 Token/s。LmStudio会把大部分记忆体放在5070 T I上。

單卡3090 Q4得到35 Token/s. Power limit 80%让记忆体温度低一点先 不然会升到105度C

我也是50+看到你今天的视频有提到

目前只是搞windows加上LMStudio。日后改进Linux加上vLLM或别的。还会搞ComfyUi。

我找到一个电脑可以塞這两个3090。我會想辦法先測試一下再等NvL ink到货。

@stakira 今天才收到其中一張RTX 5060Ti，另外一張要等個星期。

明天計劃收購兩個R T X 3090 希望成功到手試試。

實際測試方法還要研究研究。傷腦筋還要搞個NvLink。。。

如题所示。我之前买了台 Mac Mini M4（24GB内存），结果发现哪怕配合 oMLX，也跑不动任何合适的模型。

现在我入手了 RTX 5060Ti（16GB显存，448 GB/s显存带宽），单块售价不到500美元；相比那些经过魔改的 RTX 3080 等显卡，它在这卡在耐用性方面应该更有保障。显卡还没到货，所以目前暂无性能实测数据。

R7900XTX 还没见过低于 1000 美元的价格。

大家觉得怎么样？