跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
Kuo Ke HungK

Kuo Ke Hung

@Kuo Ke Hung
取消关注 关注
关于
帖子
2
主题
0
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 雙R9700玩qfn的朋友又有得玩了
    Kuo Ke HungK Kuo Ke Hung
    LLM讨论区 r9700 qwen-flash 多卡部署

    @fcme 用的是paiton的docker image, 版本就它文裡提到的paiton-vllm-plugin:qwen38-flashnext-rocm10-vllm029-20261010-r1


  • 雙R9700玩qfn的朋友又有得玩了
    Kuo Ke HungK Kuo Ke Hung
    LLM讨论区 r9700 qwen-flash 多卡部署

    chrome_20261011_151600.jpg
    今天花了一整天叫AI把它整個跑通了。真的非常快,第一次看到200tokens這種數字,decode時字出來的速度看著就爽。但同樣的剛出來的關係吧,問題很多,我覺得無法實用,就撤掉換回strata了。

    1. context 太小96K (不好調整)
    2. 並發預設8,而且是硬限制,其它數字調下去立刻crash,所以無法從這掙vRam
    3. vision預設沒掛,掛上去的話無法跑(忘了什麼原因,印象中會crash),除非把MTP拿掉,MTP拿掉直接破功,只剩90token
      目前感覺玩玩可以,不過可能先等作者調整後比較好。
      我是9700Pro雙卡, MSI X670E Carbon Wifi + 128G DDR5
  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组