跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
Ying HongY

Ying Hong

@Ying Hong
取消关注 关注
关于
帖子
6
主题
0
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 以AI Max+ 395配置SGLang
    Ying HongY Ying Hong
    LLM讨论区 sg-lang amd

    @dardeaw-feng 哈哈,好的没事。那我自己也让 agent 干。


  • 以AI Max+ 395配置SGLang
    Ying HongY Ying Hong
    LLM讨论区 sg-lang amd

    @xiaote 多谢小特。 最好楼主官方回答下。:) @dardeaw-feng


  • 以AI Max+ 395配置SGLang
    Ying HongY Ying Hong
    LLM讨论区 sg-lang amd

    “SGLang 核心分支:專為 gfx1151 移植之社群 Fork(整合 gfx1151 架構補丁、C++20 編譯修正、MoE Kernel 修正,並順利通過 AOT sgl_kernel 編譯)。”
    请教下:这个 fork 的具体项目 url 。是这个吗? https://github.com/StevenChenSE/sglang/tree/gfx1100-support
    @dardeaw-feng


  • ROCm FP4以 AI Max+ 395測試 對比Q4進步不小
    Ying HongY Ying Hong
    LLM讨论区 rocm amd

    @dardeaw-feng 确实有上过30+。让ai测试有上过45左右。
    由于你我软硬件环境有很大不同,我不知道有没有可能是操作系统或docker的损耗。


  • ROCm FP4以 AI Max+ 395測試 對比Q4進步不小
    Ying HongY Ying Hong
    LLM讨论区 rocm amd

    @dardeaw-feng 是有用专门rocmfpx量化的模型,用q4量化模型还要慢挺多。


  • ROCm FP4以 AI Max+ 395測試 對比Q4進步不小
    Ying HongY Ying Hong
    LLM讨论区 rocm amd

    很奇怪,我的 aimax+395小主机,尝试编译了各种 github 上支持 rocmfpx 量化的 llama.cpp 分发,下载尝试了各种q4_rocm 量化的 qwen3.8 27b gguf 模型。

    • 在 mtp 关闭的情况下,所有组合的 推理解码速度不会超过 15 t/s 。
    • 在 开启 mtp 的情况下,所有组合的 推理解码速度不会超过 24 t/s 。

    我的主机硬件是:
    零刻 gtr9 pro(ai max+395)
    操作系统:cachyos Linux 7.1.4,
    在 docker 内运行:(Fedora Linux 44 (Container Image)

    难道,零刻 gtr9 pro 的 ai max +395, 不如 FEVM FAEX1 ?

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组