跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

Kiner LiuK

Kiner Liu

@Kiner Liu
关于
帖子
1
主题
0
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 分享自己的經驗 # 7900 XTX 本地 LLM 優化實測報告(Qwen3.6-27B)
    Kiner LiuK Kiner Liu

    謝謝樓主分享,我也成功在W7900上面跑Qwen3.6 27b Q4 MTP模型了,也掛了圖形識別模型成功。我用實際路徑的設定成功。輸出速度部分從原本的20t/s有增加到50t/s左右,從速度勉強可接受變成速度感覺順暢。更重要的是我也同時學會用llama.cpp在windows11架server了! 這軟體穩定度比lmstudio更好,模型載入速度超順暢。

    @echo off
    "D:\llama.cpp\build\bin\llama-server.exe" ^
    -m "D:\llama.cpp\Qwen3.6-27B-MTP-Q4_K_M.gguf" ^
    --mmproj "D:\llama.cpp\mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf" ^
    --device Vulkan0 -ngl 999 -c 262144 ^
    --temp 0.4 ^
    --no-mmap ^
    --api-key "*******" ^
    -ctk q4_0 -ctv q4_0 -np 1 ^
    --spec-type draft-mtp --spec-draft-n-max 3 ^
    --reasoning off -fa 1 ^
    --port 8081 --host 0.0.0.0
    pause

    LLM讨论区
  • 登录

  • 没有帐号? 注册

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组