跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
GeekyangG

Geekyang

@Geekyang
取消关注 关注
关于
帖子
55
主题
2
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 给抡锤者的建议
    GeekyangG Geekyang
    LLM讨论区

    @williamlouis
    只是把github帖子整理出。

    区别在于,玩家可以避免很多坑,这样帖子可以讨论,比如sglang对主板的要求 是否必须要求P2P。dflash MTP到底哪个更适合R9700。你如果不懂不要瞎逼逼就好。


  • M5 Ultra 256G媒体机实测数据整理抢先看
    GeekyangG Geekyang
    AI硬件 apple-m5 qwen-27b 本地模型

    @cc-tgo 说:

    Qwen3.8-27B-4bit(15.7 GB)测试这个模型真的是毫无意义。


  • 给抡锤者的建议
    GeekyangG Geekyang
    LLM讨论区

    由于各种模型,各种部署方式,实在是太多了。
    建议论坛主,置顶一个帖子,把最近流行的部署方式,尤其是github上的部署方式全部整理上去,包括GPU,使用的推理框架,要求的TP技术。可以长期置顶,这样不仅可以提高阅读量,还可以有具体的方案供大家查阅,避免大家踩坑。

    只是建议,谢谢~


  • X99 AI Pro R9700 双卡 vLLM TP2 NVFP4 速度起飞,显卡非直连不影响
    GeekyangG Geekyang
    LLM讨论区 x99 r9700 vllm

    @Brian 双R9700 vllm FP8 54t/s 用的哪个github 方案?加投机解码了嘛?


  • X99 AI Pro R9700 双卡 vLLM TP2 NVFP4 速度起飞,显卡非直连不影响
    GeekyangG Geekyang
    LLM讨论区 x99 r9700 vllm

    显卡非直连 是什么意思?官方不就是给的MXFP4方案?


  • 感谢论坛的大家 我自己的本地大模型部署成功(X99-T8D+7900XTX)
    GeekyangG Geekyang
    随便聊聊 x99 7900xtx 本地模型

    @David-Wang 说:

    7900XTX

    双卡7900XTX 得用PCIE延长线,把另一张卡引出来。而且双路是跑不了双卡TP的。只能单路跑双卡TP


  • 抡友们Qwen Image 2.1 发布了
    GeekyangG Geekyang
    AI音视频画图 qwen 图片生成

    @Bunsei 画图模型 精度体验 差距很大的


  • 抡友们Qwen Image 2.1 发布了
    GeekyangG Geekyang
    AI音视频画图 qwen 图片生成

    这个模型就32GB,对于普通用户,能带动的卡只有:
    W7900 48GB
    4090 48GB


  • 双RX7900XTX塞进同一机箱,满载温度成功压到 90℃以内
    GeekyangG Geekyang
    AI硬件 7900xtx 多卡部署

    游戏显卡双7900xtx 除了开放式机箱,机箱内放两个不成立。


  • 我越来越觉得AI大模型就是一个X-large版的Stackoverflow
    GeekyangG Geekyang
    随便聊聊 ai危机

    @Tony-Yun No No No, 这样的话工业革命的时候有人说过,能源革命的时候有人讲过,芯片诞生的时候有人质疑过,互联网泡沫的时候有人嘲笑过。但结果怎样?现在NV一套B300的算力,相当于10年前的价值十几亿一整个数据中心的算力,现在买服务器的公司都是为了买GPU。

    量化交易(就是机器人算法交易)出现的时候,都在说这是割散户的韭菜,可是如果你是散户安心买美国的ETF,会反而比原来涨的还快。技术的发展从来不是为了人的幸福,而是为了选择谁能更好的生存。


  • 马上 MAC 512g ultra studio就要出来了,大师们,怎么穷尽其玩耍?
    GeekyangG Geekyang
    AI Agent mac 本地模型

    @田中火 comfyUI 流程运行?H3流程运行不?LXH2.3流程运行不?
    bda0fd5a-7f35-4d73-b63a-9f7db6446ac0-image.jpeg

    512G 有何用呢?


  • 小白想搭家庭AI:PVE+局域网+VPN,一张显卡还是两张?
    GeekyangG Geekyang
    随便聊聊 服务器 本地模型

    @williamlouis 我是在linux 下用的,生视频、生图R9700不是默认也可以吗?


  • 我越来越觉得AI大模型就是一个X-large版的Stackoverflow
    GeekyangG Geekyang
    随便聊聊 ai危机

    @Tony-Yun
    AI需求还没真正的开始呢,你是没见过大厂程序员的改变,售后工程师的改变。没有多少人手搓代码了,不管是用agent,还是本地模型。现在大厂的工程师,人均三四bot, 客户系统有问题,直接让bot 登录进去解决问题。需求分析先写一个思路,几十个字,然后全让AI补充。

    你可以认为AI分析的是不准确的,但是过去人写的就是准确吗?不也是ctrl+v ctrl+c


  • 小白想搭家庭AI:PVE+局域网+VPN,一张显卡还是两张?
    GeekyangG Geekyang
    随便聊聊 服务器 本地模型

    @Bunsei 说:

    R9700

    R9700不可以comfyUI? 求咨询?


  • 双 R9700 + 32G RAM 跑 83.8GB 的 Qwen3.8-Flash-Next:ROCm RDNA4 融合算子 + 共享 MTP 投机解码,144K 深度 decode 破 72 tok/s,双卡零 GTT 溢出
    GeekyangG Geekyang
    LLM讨论区 r9700 rocm mtp qwen-flash

    @Xiaote 你买的哪个版本的R97000 主板用的哪个?


  • 双 R9700 + 32G RAM 跑 83.8GB 的 Qwen3.8-Flash-Next:ROCm RDNA4 融合算子 + 共享 MTP 投机解码,144K 深度 decode 破 72 tok/s,双卡零 GTT 溢出
    GeekyangG Geekyang
    LLM讨论区 r9700 rocm mtp qwen-flash

    Qwen3.8-Flash-Next UD-Q3_K_XL 这个是不是有点缩水太多了


  • 双 R9700 + 32G RAM 跑 83.8GB 的 Qwen3.8-Flash-Next:ROCm RDNA4 融合算子 + 共享 MTP 投机解码,144K 深度 decode 破 72 tok/s,双卡零 GTT 溢出
    GeekyangG Geekyang
    LLM讨论区 r9700 rocm mtp qwen-flash

    @Quanta-Magic 同问,我要放在家里,一直没敢买,不是怕性能和配置,是怕家人烦,没法用。


  • 两张R9700 32GB和一张4090 48G魔改卡,哪个更适合本地普通消费者。
    GeekyangG Geekyang
    AI硬件 r9700 rtx4090 本地模型

    两张R9700 32GB和一张4090 48G魔改卡,哪个更有性价比?

    AMD Radeon AI PRO R9700(RDNA4,NAVI48,64CU,256-bit GDDR6,137 TFLOPS FP16 稠密算力、32GB 显存。R9700 容量:64GB > 48GB,而且翻倍2×32 = 64GB,比魔改 48G 多出 1/3。跑本地大模型意味着量化后的 70B 级别模型(Q4/Q5)可以完整塞进显存。

    NV 4090 48GB
    4090 48G 魔改 = 在 4090 主板上重焊 3GB GDDR6X 颗粒改出的非官方 48GB。48GB 魔改卡是手工 BGA 重焊 + 改 BIOS/vBIOS 解锁显存:原厂保修全无、稳定全看焊工水平;高温下 GDDR6X 出错率明显上升。但是4090 48GB 原生NV 生态不用折腾,而且不用考虑双卡TP通信。

    选什么比较合适呢?


  • 7900XTX双卡TP,SGLang & VLLM 多Agent多并发测试对比(续三)- 最终测试对比报告(基于自己的工作流)
    GeekyangG Geekyang
    AI Agent 7900xtx sg-lang vllm

    @Ben-Lee 其实我一直好奇,你机器里怎么摆进去两张7900xtx的

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组