-
-
看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。
-
看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。
@Chuyao-Chen 骗子哪里
-
看到里面说RTX 6000 PRO 才 4.5W-5.5W。 我想问下在哪里可以搞到这么便宜的啊。
@Chuyao-Chen
阉割版的RTX 6000D 84GB 是这个价格 -
@pilipala 注册资本都很低，用2年没了，你卡坏了，找京东，你是和京东购买的，它必须保你，你不要管京东怎么处理，它会想办法搞定的。2.2我真没看到，淘宝都2.4，京东第三方2.58
-
T terry 于 将此主题从 LLM讨论区 移至此处
-
./llama.cpp/build/bin/llama-server
-m ./models/Qwen3.6-27B-Q4_K_M.gguf
--host 0.0.0.0
--port 8081
--ctx-size 131072
--parallel 1
--cache-type-k q8_0
--cache-type-v q8_0
--flash-attn on
--mlock
--reasoning-budget 07900XTX完全可以跑通，而且体感良好
-
RTX3090
git clone https://github.com/TheTom/llama-cpp-turboquant
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Releasellama-cli -m d:\llama.cpp\models\Qwen_Qwen3.6-35B-A3B-Q4_K_M.gguf -ngl 99 --no-mmap --mlock --cache-type-k turbo4 --cache-type-v turbo3 --ctx-size 262144 --flash-attn on
Write me a poem
[ Prompt: 187.8 t/s | Generation: 127.0 t/s ]请问这个速度是正常吗？35B 的千问有那么快吗？
@VS-Studio 很正常，我的amd小主机，780m跑他都有30多 t/s。
-
M mraksugar 于 引用了 此主题
-
好吧。周末没事，让hermes 配置你说的，一模一样复刻，然后最简单的 脚本修改，都出错，当然，他会自己修复。但是：
目前最原始的，5月份的qwen 3.6 27b 4bit量化版，除了速度只有30-40之间，从来没有出这么低级错误。贴一下000
╭─
Hermes ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮
等等，第17行 \\ 变成四个反斜杠了！VBS 里字符串里的 \ 才代表一个 \。现在写成了 \\，路径会变成 C:\Users\...（双反斜杠），Windows 可能找不到。让我修正：╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
┊
preparing patch…
┊ patch C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs 0.7s
┊ review diff
a/C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs → b/C:\Users\46049\AppData\Local\hermes\gateway-service\Hermes_Gateway.vbs
@@ -14,4 +14,4 @@
env.Item("PYTHONPATH") = "C:\Users\46049\AppData\Local\hermes\hermes-agent;C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Lib\site-packages"
End If
sh.CurrentDirectory = "C:\Users\46049\AppData\Local\hermes"
-sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False
+sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False
┊
preparing read_file…
┊ read Hermes_Gateway.vbs 0.4s╭─
Hermes ───────────────────────────────────────────────────────────────────────────────────────────────────────────╮
好，第17行现在是正确的 VBS 语法：sh.Run "C:\Users\46049\AppData\Local\hermes\hermes-agent\venv\Scripts\pythonw.exe -m hermes_cli.main gateway run", 0, False现在测试一下完整的启动链：
