跳转至内容
  • V100 32G 魔改卡能入手吗?

    AI硬件 v100
    7
    0 赞同
    7 帖子
    356 浏览
    soop ladiosS
    @terry 我看版上很多7900xtx prefill的速度比我的雙卡無nvlink tesla v100還慢,我跑的還是27B Q8, 不知道這個prefill慢的根據是什麼? 再者長文本的prefill應該是緩存沒命中才會造成有感的堵塞,也就是一輪新的會話開始,會等一陣,之後緩存命中的話影響就小,沒命中或緩存flush了就又要等一陣,實際會話中長文本的prefill應該沒那麼常發生,這裡就是看decode的速度了,不是嗎?
  • 1 赞同
    4 帖子
    402 浏览
    I
    大佬你行动力也太强了,刚看完你spark的贴子