跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

W

wml-ai

@wml-ai
德高望重 劳动模范
取消关注 关注
关于
帖子
58
主题
4
分享
0
群组
2
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • R9700到货,AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功!
    W wml-ai

    周六下午R9700到货,开始组装机器,快10年没装机了,偏这次又买了小机箱(有点后悔),结果弄到夜里快12点才装好,腰酸背痛,装完点亮了,就睡了。转天起来开始装Ubuntu 24.04.4,系统竟然也装了一上午,开始时安装程序反复退出,后来刷了最新的BIOS,没想到重启之后竟然直接进系统了。然后就是更新系统,安装ROCM等等一系列。然后安装Hermes,使用deepseek-v4-flash,在Hermes辅助下安装llama.cpp。特意告诉Hermes要浏览抡锤者论坛中关于AMD显卡的帖子,特别要参考
    https://lcz.me/topic/353/7900-xtx-qwen3.6-27b-ubuntu-rocm-vulkan-mtp-64-128-256k-全部實測整理
    和
    https://lcz.me/topic/100/7900xtx-llama.cpp-qwen3.6-27b-turboquant-mtp-测试结果分享/56
    这两个帖子的内容。在此感谢 CHIA AN YANG 和 David Zhang 两位大神,也特别感谢斑竹建立了这个论坛让我学到了很多知识。👍 👏
    最后选定Qwen3.6-27B-Q4_K_M.gguf,使用Hermes自动配置,一次成功!

       硬件配置:
       主板:MaxSun-Terminator-B850M-PRO
       CPU:AMD Ryzen 7 9700X
       内存:金邦DDR5 5600 64GB
       SSD:  宏基GM7000 1TB+金邦 2TB
       显卡:AMD Radeon AI PRO R9700
       电源:Thermaltake SFX-850
       机箱:机械大师C26
    
       运行参数:/data/ai/apps/llama.cpp/build/bin/llama-server \
             -m /data/ai/models/llm/Qwen3.6-27B-Q4_K_M.gguf \
             -ngl 99 \
             -fa 1 \
             -c 131072 \
             --cache-type-k q4_0 \
             --cache-type-v q4_0 \
             --spec-type draft-mtp \
             --spec-draft-n-max 3 \
             -ub 256 \
             -np 1 \
             --temp 0.7 \
             --top-k 20 \
    

    截屏2026-05-31 下午10.30.09.png

    使用起来感觉和线上的deepseek-v4-flash没有太大区别,速度差不多。但是运行起来的风扇噪音真是太大了!但是比起电水壶烧开水还是差远了。我把电脑放脚下,身后就是电水壶,水烧起来的声音完全能盖住显卡风扇的声音,满载时也能。但是机箱散热不好,测试时显卡温度偏高。

    截屏2026-05-31 下午3.15.42.png

    调整了一下机箱风扇的位置,效果并不明显。小机箱空间太受限了!装机时就很费劲!

    截屏2026-05-31 下午4.56.33.png

    为了安全,把功耗限制到280W。

    截屏2026-05-31 下午5.30.28.png

    性能损耗约4%。

    截屏2026-05-31 下午5.35.27.png

    后来感觉温度还是偏高,风扇太吵,又限制到270W。

    截屏2026-06-01 下午8.28.44.png

    这是现在模型刚加载时的温度:

    截屏2026-05-31 下午10.28.52.png

    这是模型运行时的温度:

    截屏2026-05-31 下午12.24.21.png

    心得:
    1、AMD显卡在Linux下的生态还是可以的,至少我这个没有什么Linux使用经验的人,在AI和Hermes的帮助下,也就是花了1天时间就把大模型跑起来了,所以对AMD显卡有顾虑的人我觉得可以放心一些了。
    2、涡轮卡的噪音确实是很大,但是比电水壶的声音还是差一些,隔一堵墙,关上门,满载时的噪音也是听不见的。算是给对噪音敏感的人一些真实感受吧。
    3、算是个经验教训——机箱尽量选大一些,利于散热通风,长期运行也更有安全保障,装机时也能顺利一些。

    这些是我的一些体会,没有什么经验贡献,再次感谢斑竹和论坛里的各位大神的无私分享。

    AI硬件 r9700 llama.cpp hermes

  • B站机智罗发布AMD显卡专用ComfyUI机智整合包V3,全面升级,支持全部AMD显卡!
    W wml-ai

    先感谢机智罗大神!
    原链接:
    https://www.bilibili.com/video/BV1LijF6iE8J/?spm_id_from=333.1387.homepage.video_card.click&vd_source=13d8a8989a400cc79d747bd5d3e71bef

    我测试了V2版基础工作流中的Flux-2文生图和图生图、Z-image-Turbo文生图和图生图、LTX2.3文生视频和图生视频等几个工作流,均可以正常工作(所测试的工作流均禁用了SageAttention)。

    V3整合包工作流:
    🎁「ComfyUI基础工作流」
    链接:https://pan.quark.cn/s/86d16f0b9a6c
    🎊「ComfyUI进阶工作流」
    链接:https://pan.quark.cn/s/c77d5dfe289f

    AI音视频板块似乎不如AI硬件板块活跃,希望能和同道坛友多交流经验。

    AI音视频画图 amd comfyui 机智罗

  • B站机智罗发布AMD显卡专用ComfyUI机智整合包V3,全面升级,支持全部AMD显卡!
    W wml-ai

    @fanic-ary @terry
    有“amd”的是机智罗专为AMD优化的工作流。第二个ZIP包里的我都没试过。
    jzl_amd_workflows.zip
    jzl_workflow 2.zip

    AI音视频画图 amd comfyui 机智罗

  • AMD pro R9700显卡已经拿到了,主机是新攒的,准备装机,请论坛内的大神、老玩家们给些开荒意见,帮着避避坑,谢谢啦,将持续上报后续作业。
    W wml-ai

    @williamlouis 说:

    @wml-ai 看来你是折腾过了。windows 11 双显卡 集成显卡+独立显卡 的设置真是千奇百怪。windows 使用率在这个ai时代下滑是有原因的。曾经的生态王者 现在各种拉缸。

    我没折腾Win11,直接就上Ubuntu了。Window打中学就开始用,DOS6.22、Windows3.1、95、98、98SE、2000、Vista、Win7,现在的笔记本是Win10。单位有电脑是Win11的,感觉除了界面好看点,其他的不如我的Win10习惯。
    其实Ubuntu也不陌生,以前也用过,不过年轻时玩心重,总想打游戏,所以也没好好学Linux。今年又买了Mac mini,又重温了一些命令行操作,有AI了就更方便了。
    我对Windows上运行WSL比较抵触,这玩意是个套娃,肯定性能有损失,我花了大价钱配的硬件,为什么不让它在原生环境里发挥最高性能呢?!而且以前我曾经试过在Windows上跑VM Workstation,然后虚拟机运行黑群晖,黑群晖里运行Docker(为了运行一套开源软件),搞得我崩溃。最后还是弃用Docker,直接在Windows上部署那套软件。
    你在Windows里面套一个WSL,看似你是在一个熟悉的系统中,但是WSL2的跨系统文件 I/O 性能极差,而且虚拟机要和宿主机分享系统内存,还有就是最让我挠头的是局域网配置,当初我就是因为Docker环境配置网络端口总也搞不好才放弃的。本来你在原生Linux环境中没有那么麻烦的配置过程,可能在WSL2这个套娃里就会很麻烦,而且浪费了硬件资源。
    我现在就是把Ubuntu当成AI服务器,主要用Mac mini SSH到Ubuntu上,偶尔也会登录到Ubuntu的桌面(偶尔也拿Ubuntu打会游戏😄 )。出门了就用Windows笔记本远程登录到Mac上,拿Mac mini当一个跳板机(功耗超低,24小时开机)。
    所以我不想再折腾Windows+WSL2了。以前折腾过,累了,烦了。现在这三台主机运行的都很好——满意!

    AI硬件 r9700 amd

  • AMD pro R9700显卡已经拿到了,主机是新攒的,准备装机,请论坛内的大神、老玩家们给些开荒意见,帮着避避坑,谢谢啦,将持续上报后续作业。
    W wml-ai

    直接Ubuntu吧,没你想象的那么难。我也是AMD的CPU+R9700。装Windows才是折腾。双系统更折腾。

    AI硬件 r9700 amd

  • 比较流畅的跑Qwen 3.6 27B 模型本地部署,使用AI PRO R9700,主机怎么配置
    W wml-ai

    @jatwu 我也是蓝宝石R9700,满载时声音确实大,但是比起电水壶烧开水时还是差远了,时间长了就习惯了。

    AI硬件 r9700 ai-pro-r9700

  • 比较流畅的跑Qwen 3.6 27B 模型本地部署,使用AI PRO R9700,主机怎么配置
    W wml-ai

    @kiner-liu AM5还有一款支持双卡的主板,铭瑄iCraft B850,1500RMB,也有两个PCIex16插槽,可以PCIe5.0 x8,性价比之选。

    AI硬件 r9700 ai-pro-r9700

  • 硬件又开始涨价了
    W wml-ai

    @八十 说:

    wml-ai

    哥,你那买的是现货吧,我买的可是期货,要等两个多月呢,现在都还在等呢?

    还真是!现在买硬件都成了买期货了。我5月份看的丽台RTX PRO 4500 两万零几,现在23000多了!

    AI硬件

  • B站机智罗发布AMD显卡专用ComfyUI机智整合包V3,全面升级,支持全部AMD显卡!
    W wml-ai

    @terry 我是Linux,不是Windows。机智罗的平台是Windows,但是我移植到Ubuntu上也能用。

    截屏2026-07-07 下午8.56.15大.png

    截屏2026-07-07 下午8.58.08大.png

    AI音视频画图 amd comfyui 机智罗

  • B站机智罗发布AMD显卡专用ComfyUI机智整合包V3,全面升级,支持全部AMD显卡!
    W wml-ai

    @abaalei 刚找到原因:Z-image/qwen_3_4b_fp8_mixed.safetensors,换成Z-image/qwen_3_4b.safetensors就好了。也测试了一下V4版的Z-Image-Turbo文生图工作流,也是同样的问题——不能用Z-image/qwen_3_4b_fp8_mixed.safetensors。

    AI音视频画图 amd comfyui 机智罗

  • B站机智罗发布AMD显卡专用ComfyUI机智整合包V3,全面升级,支持全部AMD显卡!
    W wml-ai

    晚上搞了一下机智罗图生视频工作流里的SageAtention——失败了!只要打开这个节点就跑不通,绕过这个节点就能连续生10秒的720p视频。

    错误信息(太长了,就贴开头):

    PassManager::run failed
    ComfyUI Error Report
    Error Details

    • Node ID: 234
    • Node Type: SamplerCustomAdvanced
    • Exception Type: RuntimeError
    • Exception Message: RuntimeError: PassManager::run failed

    问了一下AI,说不是sageattention节点没生效,而是后面在 ROCm/Triton AMD 编译阶段失败。失败发生在:

    sageattention/core.py
    → attn_qk_int8_per_block.py
    → triton/backends/amd/compiler.py
    → pm.run(mod)
    RuntimeError: PassManager::run failed

    AI劝我放弃吧,说Linux下SageAttention本就不成熟。听劝!放弃!

    提醒A卡坛友暂时避坑,绕开“XB-BOX Sage注意力加速“这个节点。

    软件 本机环境 版本
    ROCm / PyTorch ROCm PyTorch 2.9.1+rocm7.2.1 AMD 官方 release 已有 ROCm 7.2.4。
    Triton 3.5.1+rocm7.2.1.gita272dfa8 PyPI 上 triton 最新显示为 3.7.1
    SageAttention sageattention==1.0.6 公开 PyPI 版本序列 1.0.6 为最新可装版本

    System Information:

    • Motherboard: MAXSUN MS-Terminator B850M PRO
    • Memory: 128.0 GiB
    • Processor: AMD Ryzen 7 9700X × 16
    • Graphics: AMD Radeon Graphics
    • Graphics 1: AMD Radeon AI PRO R9700
    • Disk Capacity: 3.1 TB
    • Firmware Version: B2.5D
    • OS Name: Ubuntu 24.04.4 LTS
    • Kernel Version: Linux 6.17.0-35-generic
    AI音视频画图 amd comfyui 机智罗

  • R9700到货,AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功!
    W wml-ai

    今天下午又编译了一次 Vulkan 版本的 llama.cpp,做了简单的测试,和ROCm版对比,各有千秋吧,相差不大。但是意外发现,运行Vulkan版的本地模型比ROCm版的功耗要低。

    Vulkan版测试结果:
    截屏2026-06-03 下午4.18.04.png

    ROCm版的测试结果:
    截屏2026-06-03 下午4.18.42.png

    加载ROCm版模型时的功耗(未执行任务):
    截屏2026-06-03 下午6.12.25.png

    加载Vulkan版模型时的功耗(未执行任务):
    截屏2026-06-03 下午6.14.22.png

    执行任务时,Vulkan版也比ROCm版的温度、功耗要低,风扇转速也稍低一些。更重要的是,Vulkan版出结果更快,GPU运行一会儿功耗就下来了,而ROCm版的会运行很久,风扇狂转。

    AI硬件 r9700 llama.cpp hermes

  • 记录一下机智罗107/108-LTX2.3初级进阶-图生视频-GGUF 工作流的标准时间,以供坛友们参考
    W wml-ai

    @terry 我之前也是在Ubuntu上跑的(B站机智罗发布AMD显卡专用ComfyUI机智整合包V3,全面升级,支持全部AMD显卡!),A卡的话SageAttention节点要绕过。Windows应该能跑。

    AI音视频画图 ltx 机智罗

  • R9700到货,AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功!
    W wml-ai

    @densha 估计不会一直运行大模型,感觉线上模型能力更强一些,比如deepseek-v4-flash。

    AI硬件 r9700 llama.cpp hermes

  • R9700到货,AI+Hermes部署llama.cpp+Qwen3.6-27B-Q4_K_M一次成功!
    W wml-ai

    @sospda 也测试了使用MTP的情况(简单测试没有使用长文档输入测试),MTP确实有明显提升,而且依然是Vulkan比ROCm快,不过没有到50t/s,但是日常使用完全够了,体验不差。

    截屏2026-06-05 上午9.47.46.png

    现在日常使用就是Vulkan+MTP,功耗还低,风扇噪音较小,比较满意了。

    AI硬件 r9700 llama.cpp hermes
  • 登录

  • 没有帐号? 注册

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组