跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
Chan SamC

Chan Sam

@Chan Sam
取消关注 关注
关于
帖子
4
主题
0
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 【直播】二次开发R9700单卡用SGLang跑Qwen3.8-27B成功! TTFT0.9s/PP2000/TG100tps(代码)!体验丝滑
    Chan SamC Chan Sam
    LLM讨论区 r9700 sg-lang qwen-27b

    @fcme 说:

    @Chan-Sam
    不会,因为r9700的绝对算力和带宽没有5070ti高。我在两张卡上都跑了r9700要稍微慢一点,不管是pp还是tp速度。你如果只跑这一个模型的话,无疑5070ti是更好一点,R9700的话,以后出了什么新的模型适配力强很多,不是一个级别的,显存还是王道。

    那我是要卖了R9700换5070ti好还是等你R9700最终版 好?😂


  • 【直播】二次开发R9700单卡用SGLang跑Qwen3.8-27B成功! TTFT0.9s/PP2000/TG100tps(代码)!体验丝滑
    Chan SamC Chan Sam
    LLM讨论区 r9700 sg-lang qwen-27b

    @fcme 说:

    @Chan-Sam
    可以顶满格,但是速度就会掉下来,一般试用的话,感觉150k,200k就够了。多加载点专家到显存速度会更快的。

    那我用R9700 32G 不就更好?这个我有现成,5070ti考虑中想买😊 所以请教一下你


  • 【直播】二次开发R9700单卡用SGLang跑Qwen3.8-27B成功! TTFT0.9s/PP2000/TG100tps(代码)!体验丝滑
    Chan SamC Chan Sam
    LLM讨论区 r9700 sg-lang qwen-27b

    @fcme 说:

    @Chan-Sam
    对,我的服务器是pcie3.0的,两张卡都是走的3.0的通道。实际上对5070ti跑next flash有一丢丢影响,但是影响不是太大,几乎全程稳定在50上下,掉到47的时候已经做了可能七八十轮任务以后了,速度非常稳。

    5070ti + DDR3 128GB内存跑next flash IQ3_XXS吗?上下文可以多少?感谢!!!


  • 【直播】二次开发R9700单卡用SGLang跑Qwen3.8-27B成功! TTFT0.9s/PP2000/TG100tps(代码)!体验丝滑
    Chan SamC Chan Sam
    LLM讨论区 r9700 sg-lang qwen-27b

    @fcme 说:

    另外这个还不是最终的版本,先不要抄作业。我会出个git的。

    期待你的最终版;
    另外请问你的5070ti也是用DDR3内存跑Strata 吗?跑qwen3.8 flash next Q3_S吗?速度如何?

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组