跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. A卡N卡各有自己的好处,老卡低端卡因为技术革新价值得到开发,本地跑AI没有完美的选择,适合自己的工作流,能挣钱就是王道!

A卡N卡各有自己的好处,老卡低端卡因为技术革新价值得到开发,本地跑AI没有完美的选择,适合自己的工作流,能挣钱就是王道!

已定时 已固定 已锁定 已移动 AI硬件
amdnvidia本地模型
12 帖子 7 发布者 399 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • terryT
    terryT
    terry
    易有太极
    编写于 最后由 编辑
    #1

    这两天虽然我一直在躺平玩游戏,发视频也都比较随意,但是确实有更多的人看到了我的视频,然后去论坛发帖交流自己的硬件,交流自己的测试信息。这个一方面呢,我从中剽窃了很多素材,做了视频,赚了流量费用,形成了一个正向的生态循环啊,我非常感谢大家,是吧?基本上我不用自己去测试什么,就每天从论坛中找好的帖子过来,逼逼两句,就能够发一个视频,就能够挣钱。啊,这是非常感谢大家的,是吧?

    那么另一方面呢,我们也要看到,就是最近论坛中讨论的很多信息啊,非常有参考意义。比如说最近由于 Strata、由于 MiniMax H3,这些新的模型也好,还是新的推理框架也好,包括千问 3.8 Flash Next 这个模型横空出世,是吧?那么本地采购 AI 硬件的很多原则都发生了变化。尤其是 Strata,它把以前显存不高、16G 以下的这些废卡,甚至一些老旧的卡,比如说 V100,是吧?V100 16G,它就是废卡加上小显存,以前基本上是毫无作用,那么 Strata 把它抢救了回来。现在你买两张 16G,搭配 Strata 驱动千问 3.8 Flash Next,跑出来的数据还真不错,还真能干活,就把 AI 本地部署的门槛大大降低了。

    显卡适合自己就好.jpeg

    然后 MiniMax H3 这个开源的 AI 视频软件,是吧?现在有社区的魔改版,它可以双卡 TP 来跑。论坛已经有人用 AI Pro R9700 给出了非常详细的测试结果,也有人用两张 W7900 去 TP,也跑成功了。但是提升的效率和幅度可能并不都是一致的,不过双卡 TP 这个方案确定是可以通的。W7900 就是 7900XTX 的 48G 版本啊,它能跑,7900XTX 肯定也能跑。所以说这个本地部署呢,按照我上一个视频中总结的,它现在由过去的单卡大显存、非常贵的卡,比如说 4090 48G,3 万多一张,RTX Pro 5000 可能要五六万,是吧?从单卡大显存优先,转向了显存过得去,然后强算力、大带宽这种显卡。

    V100 为什么它的 16G 显卡有这么牛逼的表现?就是因为 V100 的带宽非常高,而且它是 HBM 显存嘛,它的带宽很高。然后呢,它尽管在生态上面有所残疾,比如说没有 BF16,只有 FP16,但是它用来跑大模型本身问题是不大的,跑 LLM 是可以跑的。那像 7900XTX 这种卡,比如说 3090,是吧,都是差不多的,它们是 1T 的带宽,算力非常强。那么它们双卡 TP 跑 MiniMax H3,就能把生态的最后一个短板弥补回去。7900XTX 这张卡,论坛也有人实测,它对比 5080,两张 7900XTX 的 prefill 效率已经赶上了 5090 32G 的 85% 左右。那它在跑大模型的时候,体验就跟六七万一张,甚至八九万一张的卡相差不是很多了。你 7900XTX 才多少钱?两张卡加起来一万四到一万八之间,是吧?这不简直就是白菜价吗?

    V100 32G.avif

    然后呢,关于买卡这个事情啊,我要说,男人嘛,你要玩得起。有一段时间有些东西完全是垃圾,比如 170HX,是吧?这卡其实早期刚出来的时候就完全是垃圾,几百块钱一张。但是后来由于两次,第一次是显存解锁,第二次是算力解锁,导致它跑 AI,无论是大模型还是 ComfyUI,它的价值都大大提升。那你说你没赶上车,有什么值得后悔的呢?这个东西就跟赌石头是一样的,你赌赢了,你就会所嫩模;赌输了你就吃糠咽菜。啊,我们论坛有买了三张卡的范志刚,分别是在 5,000 块钱以下、8,000 块钱、1 万块钱买了三张的,人家就给出了非常详细的测试数据。但是他也说了,这玩意儿就像他这样的老鸟,是吧,他跟好几个卡贩子都比较熟,都不能保证 100% 买到靠谱的卡,你们有什么好遗憾的呢?再说了,这个卡要么是能力没有被证明,你有可能赌石头失败,买到一个砖头;要么就是这个卡已经被证明算力没有问题。那你觉得这种情况下,商家是傻子吗?他会便宜的价格卖给你吗?你说是你聪明,还是卡贩子聪明?你知道这个卡价值高,卡贩子不知道吗?卡贩子第一时间就能把它兑现成价格,你是一毛钱便宜都占不到的。除非你能像人家老范一样,是不是?人家就是未雨绸缪,人就好赌,是吧,人就是能够提前下单。你如果也想这样玩,那也没有什么遗憾的。

     170HX PCB.jpeg

    还有些朋友就非常遗憾,比如说有人留言说自己 3090 双卡现在坏了一个,可能要送给张哥去修。啊,张哥我们也知道,大主播是吧,人家修理的卡肯定不会便宜,有一个基础的费用在。那他可能就会比较后悔,当初为什么没有买 7900XTX。其实这两张卡我当初在推荐的时候说得非常清楚啊,你要想折腾硬件,你就买 3090;你要想折腾软件,你就买 7900XTX,反正你不能两个同时折腾。3090 经过这次算力解锁,它本来双卡 TP 加上 NVLink,跑大模型的体验就比 4090 48G 单卡要好。而且有一段时间京东自营有二手,那个卡卖得也不贵,我在视频中还提醒大家去买了,也有人买到了,是吧?那么你有这样的体验,你的硬件本身没有什么问题,就算是偶尔坏掉一次,你就修一下,花个几百块钱,甚至就算花个 1,000,它也不是一直修,是吧?也没有多大的损失,不用纠结。男人呐,不要纠结了。

    像 7900XTX 的用户,他们发现论坛的 3090 这些人开始庆祝了,为什么呢?人家的 Tensor Core 算力解锁了,大模型 prefill 的速度大大提升,有的提升了 80%。解码速度可能提升并不是那么多,但是这个也是非常重要了。而且经过实测,跑 ComfyUI 的时候,包括画图还是视频,效率都大大提升。那是不是自己就错过了很多呢?也不至于嘛。不是已经有人用 AI Pro R9700 双卡去跑 MiniMax H3 了吗?TP 跑效率还非常不错。然后我是让有双卡 7900XTX 的朋友去测试,他们可能在忙,还没有结果出来,但是已经有热心的网友用 W7900 双卡 TP 测试过了,是没有问题的,就是显存可以合并,虽然不是 100%。两张卡 1+1=2,但是它的效率还是不错的,能够解决 7900XTX 最大的痛点,就是显存只有 24G。

    7900xtx和4060TI大.jpeg

    当然了,24G 本身跑 MiniMax H3 就能跑不错的分辨率,而且效率非常不错。7900XTX 的算力跟带宽都比 AI Pro R9700 更强,它最大的缺点就是 24G 没有办法推高 MiniMax H3 的视频分辨率跟时长。之前呢,如果你懂首尾帧拼接的话,实际上 7900XTX 24G 的显存是够你玩的,你的分辨率跟时长都不会太尴尬,是能够实实在在有生产力的。但是毕竟双卡 TP 的方案能够从硬件上直接给你解决,一劳永逸,是吧?对技术的要求也比较低。也就是说,A 卡有 A 卡的好处,N 卡有 N 卡的好处。这一轮大家的红利,基本上是随着 AI 技术的进步得到了技术反哺,红利都已经吃足了。

    就我们买硬件的时候,只需要考虑到它是否适合自己的工作流。比如说之前我是用 4060 Ti,我就用它来生成 AI 音频,用 VoxCPM。是吧,尽管它的速度不怎么样,但是那一年的时间它还是——我不是说了吗?给我一个频道就挣了十几万,两个频道给我加起来挣了 20 万,我可是贴了图的啊。就是我频道的收益,英语频道的收益,我在早期的视频中贴过最少 5 次,啊,你们自己去找一找,包括我在帖子中也明确给出过截图。在我这个应用场景下,7900XTX 的速度大概是我 4060 Ti 的三倍左右。但是呢,你说这个提升对于我来说是必要的吗?只是体感上的提升而已,因为一天我最多也就做两个视频,英语视频最多了。现在我已经把英语频道降低到每周更新,是不是那这个需求就更低了?就能为你挣钱、适合你的工作流就行。

    4090 48G .avif

    如果说你是想跑 MiniMax H3,你无论是 4090 48G 这样 3 万块钱一张的卡,还是 7900XTX 这样六七千一张的卡,都可以。只要你能把它跑起来,就把主要精力放在研究怎么挣钱上。你在这个硬件上面怎么去占便宜、折腾,是吧,是没有多大意义的。就像早期有很多朋友听我的建议,买了 RTX Pro 5000、6000,然后就有人留言说:“哎呀,你看当初老特建议我们买卡的时候,是吧,我就没有买贵的卡,你们这些买贵的卡,你们都赚到了。”但是有一位朋友,我忘记是谁了,他的回复就非常经典,就是这个卡如果说我不卖,那我并没有因为这个卡挣到钱;如果卖掉了,我用什么卡?我就没法工作了,是吧?所以说卡涨价、升值了,对于我来说是好事吗?是好事,但是也不是什么特别值得庆祝的事情。是吧,平常心。

    就便宜的硬件有便宜硬件的玩法。人家买了两个 V100 16G,搭配 X99 的洋垃圾,是吧,DDR3 的内存,人家能把千问 3.8 Flash Next 跑起来,能够交付给客户,能赚到钱,那就是王道。是吧,你再有钱,除非你是大佬,你就是买了 4 个、8 个 DGX Spark,你就是玩票,你也不搞生产,是吧?否则的话,你的设备再好,有什么意义呢?是吧,早点去挣钱。除非你像大佬一样根本就不在乎钱,我相信看我频道的观众都还是非常在乎钱的。不要把情绪消耗在我的哪张卡买贵了几千块钱、买便宜了几千块钱。你的人生吃这么一点亏是不会——怎么讲呢——改变你的命运的。真正让你吃大亏的,是你老是纠结在这些无聊的琐事上面,就是今天吃了点小亏,明天吃了点小亏,是吧?你的生活中永远没有积极的信号。

    youtube算法8k大.jpeg

    买卡这个事情呢,叫怎么说呢,人性都是贪婪的,叫欲海无边、欲壑难填。以前我看评论区有网友说嘛,这个卡吧是怎么回事?叫什么“几千预算进卡吧,四路泰坦抱回家”,是吧?曾经的经典段子,就是进来的时候打算买个入门的设备,啊,玩一玩就行了,结果看这个评测、看那个评测,啊,这个预算一点点往上加,啊,最后就把四路泰坦买回来。这个就有点非常夸张了啊。就是硬件够用就行,适合自己就行,它没有一个高低之分,没有一个高下之分。就曾经因为你没有认真听我的建议,是吧,你交了智商税,这个并不算什么啊。我讲实话,我这辈子吃的亏、吃大亏多了去了,是吧?旧的不去,新的不来,放平心态,把目光放向未来,抓紧用 AI 挣到钱,这才是王道。

    油管:https://www.youtube.com/@抡锤者

    1 条回复 最后回复
    2
    • terryT
      terryT
      terry
      易有太极
      编写于 最后由 编辑
      #2

      Youtube Video

      油管:https://www.youtube.com/@抡锤者

      1 条回复 最后回复
      0
      • coooooC
        coooooC
        cooooo
        编写于 最后由 编辑
        #3

        支持,能挣钱才是王道

        1 条回复 最后回复
        0
        • johnnybegoodJ
          johnnybegoodJ
          johnnybegood
          王侯将相
          编写于 最后由 编辑
          #4

          问题是, 现在这个AI时代, 任何东西变化都太快, 今天赚钱的东西, 明天就不赚钱, 什么都是昙花一现, 比较浮躁。 但是肯定人人都希望有稳定的收入流, 用AI赚钱还是有点太累太折腾了。 怎么才能找到一个更底层的赚钱逻辑, 不管上面怎么变, 都可以以不变应万变地来赚钱呢?

          1 条回复 最后回复
          0
          • johnnybegoodJ
            johnnybegoodJ
            johnnybegood
            王侯将相
            编写于 最后由 编辑
            #5

            我想到一个, 就是做教程, 不管什么东西出来,这些做教程的也不管自己懂不懂, 反正一顿忽悠, 然后骗学费。每次小的浪潮都能小赚一笔。 俗话说的好, 傻子太多, 骗子不够用了。

            懒人烘培懒 terryT 2 条回复 最后回复
            0
            • johnnybegoodJ johnnybegood

              我想到一个, 就是做教程, 不管什么东西出来,这些做教程的也不管自己懂不懂, 反正一顿忽悠, 然后骗学费。每次小的浪潮都能小赚一笔。 俗话说的好, 傻子太多, 骗子不够用了。

              懒人烘培懒
              懒人烘培懒
              懒人烘培
              王侯将相
              编写于 最后由 编辑
              #6

              @johnnybegood 这个感觉可以有呢

              双 7900 XTX:模型本地跑,Token 随便烧!

              1 条回复 最后回复
              1
              • 范志刚范
                范志刚范
                范志刚
                硕果累累 贵族大夫
                编写于 最后由 编辑
                #7

                求大佬带@johnnybegood

                terryT 1 条回复 最后回复
                0
                • johnnybegoodJ johnnybegood

                  我想到一个, 就是做教程, 不管什么东西出来,这些做教程的也不管自己懂不懂, 反正一顿忽悠, 然后骗学费。每次小的浪潮都能小赚一笔。 俗话说的好, 傻子太多, 骗子不够用了。

                  terryT
                  terryT
                  terry
                  易有太极
                  编写于 最后由 编辑
                  #8

                  @johnnybegood 教程这碗饭不容易吃,你想多了,很累的。我反正搞不定。

                  油管:https://www.youtube.com/@抡锤者

                  1 条回复 最后回复
                  0
                  • 范志刚范 范志刚

                    求大佬带@johnnybegood

                    terryT
                    terryT
                    terry
                    易有太极
                    编写于 最后由 编辑
                    #9

                    @范志刚 你也是大佬。

                    油管:https://www.youtube.com/@抡锤者

                    1 条回复 最后回复
                    0
                    • 范志刚范
                      范志刚范
                      范志刚
                      硕果累累 贵族大夫
                      编写于 最后由 编辑
                      #10

                      不,我是乡绅@terry

                      1 条回复 最后回复
                      0
                      • williamlouisW
                        williamlouisW
                        williamlouis
                        易有太极
                        编写于 最后由 编辑
                        #11

                        AI 教学的已经有很多了。
                        说实话就是割韭菜。不过确实是一把好镰刀。
                        余承其重,必先虑退。
                        搞什么都要多思考就好。

                        个人主页:xlkj.org Telegram https://t.me/xlkjorg

                        1 条回复 最后回复
                        1
                        • donal2026D
                          donal2026D
                          donal2026
                          编写于 最后由 编辑
                          #12

                          有一段时间,给一些小机构例如小医院部署个本地AI,挺挣钱的。采购硬件,部署模型,部署网关等等,现在这种模式已经烂大街,电脑城随便找个店都有方案给你搞定。
                          我觉得现在能挣钱的方向是 深度定制,例如客服助手,要把客户的流程,知识整合到方案中,但一个人OPC做这个基本是不可行的。

                          1 条回复 最后回复
                          0

                          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                          有了你的建议,这篇帖子会更精彩哦 💗

                          注册 登录
                          回复
                          • 在新帖中回复
                          登录后回复
                          • 从旧到新
                          • 从新到旧
                          • 最多赞同


                          • 登录

                          • 登录或注册以进行搜索。
                          • 第一个帖子
                            最后一个帖子
                          0
                          • 版块
                          • 最新
                          • 标签
                          • 热门
                          • 用户
                          • 群组