跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
折叠
品牌标识

抡锤者

  1. 主页
  2. 版块
  3. LLM讨论区
  4. 关于ai 模型,我有话说,也是吐槽一下chatgpt 5.6 sol 吧!,重点是关于模型背答案这个事情。

关于ai 模型,我有话说,也是吐槽一下chatgpt 5.6 sol 吧!,重点是关于模型背答案这个事情。

已定时 已固定 已锁定 已移动 LLM讨论区
本地模型gpt
16 帖子 6 发布者 274 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • kop wangK 离线
    kop wangK 离线
    kop wang
    超级版主
    编写于 最后由 kop wang 编辑
    #3

    目前的AI都是属于20世纪80年代的ML这个分支下。
    本质上输出的是一种统计学趋势,所以必然会有和统计学相同的一系列谬误。包括但不限于历史过拟合、幸存者偏差等。

    但是楼主说的这个问题,其实更复杂一些:
    1、目前的AI调用,都不是裸模型了,或多或少,都有工程学加工。你的提示词并不是最终运算的唯一输入。甚至只是占比非常小的一部分。OpenAI又是最擅长工程化的公司之一。

    2、工程学加工中,为了防止AI发生严重的历史记忆问题,有很大的比重的上下文会被思考和联网检索占据。
    联网检索的信息,其实质量上是非常劣质的。非常考验联网工具和AI交叉对比的能力。

    3、目前的语料已经基本穷尽了,所以为了提升模型的能力,近一两年模型的训练后训练比重非常大。这也就导致了更精准的对齐(也就导致了更刻板的答案)。

    以上其实都影响AI最终产出。

    所以楼主所感受的,并不一定是模型本身的问题,甚至不是算法、技术路线的问题,而是目前的大势所趋。是一个商业选择的结果。

    虚心交流,一起进步

    mei liM 1 条回复 最后回复
    2
    • S 离线
      S 离线
      stxpnet
      技术大牛 劳动模范
      编写于 最后由 编辑
      #4

      我们拿到的开源模型只能算个半成品,后面的提示词工程,思维链控制,那些人家是不会公开出来的。 所以总是没有在线的AI好用。 硬件也比不上资本家的。 模型本质只是个函数,别把它当人看,它没有任何感情,也不知道自己在输出些什么,只是为了语言学上的合理和连贯。

      1 条回复 最后回复
      1
      • S 离线
        S 离线
        stxpnet
        技术大牛 劳动模范
        编写于 最后由 编辑
        #5

        bed9b6ad-e760-4e06-a130-5b22ffbbd00e-image.jpeg 量化了之后,它吐出来的字只能信50%

        mei liM 1 条回复 最后回复
        0
        • lukun geL 离线
          lukun geL 离线
          lukun ge
          编写于 最后由 编辑
          #6

          ai目前的架构完全不支持产生人类的意识,从物理层面,人类是先有意识,后有计算能力的,现在ai想通过计算能力来产生意识,本来就不符合物理规律。但是,ai即使没有产生意识,它也会让人类短期内大量失业,人类当前的社会分工,大部分是流程化和计算类似的工作,而不是意识类需要创新和思考的工作。这就给能驾驭ai的人,一个人干100个人的工作的能力。残酷现实是:ai并没有提升整个社会的生产力,它只提升了生产效率。因此就会出现新方向的就业机会前还看不到,老的就业岗位的饼的大小也没有发生变化,但人的需求量降低了,失业就是必然结果。
          失业的结果很大可能会催生游戏和娱乐产业的蓬勃发展,将来要为领着社会失业保障的失业群体打发时间创造条件。

          terryT mei liM crazypeaceC 3 条回复 最后回复
          1
          • terryT terry

            不错,发现隐藏大神。有聊得上的过来走个面,我观察下再评论。我们人类意识从本质上来讲,也就是大点的软件。

            mei liM 离线
            mei liM 离线
            mei li
            德高望重 劳动模范
            编写于 最后由 编辑
            #7

            @terry 害,我就是口嗨没啥真本事

            terryT 1 条回复 最后回复
            1
            • lukun geL lukun ge

              ai目前的架构完全不支持产生人类的意识,从物理层面,人类是先有意识,后有计算能力的,现在ai想通过计算能力来产生意识,本来就不符合物理规律。但是,ai即使没有产生意识,它也会让人类短期内大量失业,人类当前的社会分工,大部分是流程化和计算类似的工作,而不是意识类需要创新和思考的工作。这就给能驾驭ai的人,一个人干100个人的工作的能力。残酷现实是:ai并没有提升整个社会的生产力,它只提升了生产效率。因此就会出现新方向的就业机会前还看不到,老的就业岗位的饼的大小也没有发生变化,但人的需求量降低了,失业就是必然结果。
              失业的结果很大可能会催生游戏和娱乐产业的蓬勃发展,将来要为领着社会失业保障的失业群体打发时间创造条件。

              terryT 在线
              terryT 在线
              terry
              超级版主
              编写于 最后由 编辑
              #8

              @lukun-ge 很有意思哥们,我觉得咱们可以有空拉个语音群聊,来个直播啥的,我也挺喜欢吹这些问题的。

              油管:https://www.youtube.com/@抡锤者

              1 条回复 最后回复
              0
              • mei liM mei li

                @terry 害,我就是口嗨没啥真本事

                terryT 在线
                terryT 在线
                terry
                超级版主
                编写于 最后由 编辑
                #9

                @mei-li 并非,人人都在进步,你已经在迈往技术大牛的路上,多发几个帖子。

                油管:https://www.youtube.com/@抡锤者

                mei liM 1 条回复 最后回复
                0
                • kop wangK kop wang

                  目前的AI都是属于20世纪80年代的ML这个分支下。
                  本质上输出的是一种统计学趋势,所以必然会有和统计学相同的一系列谬误。包括但不限于历史过拟合、幸存者偏差等。

                  但是楼主说的这个问题,其实更复杂一些:
                  1、目前的AI调用,都不是裸模型了,或多或少,都有工程学加工。你的提示词并不是最终运算的唯一输入。甚至只是占比非常小的一部分。OpenAI又是最擅长工程化的公司之一。

                  2、工程学加工中,为了防止AI发生严重的历史记忆问题,有很大的比重的上下文会被思考和联网检索占据。
                  联网检索的信息,其实质量上是非常劣质的。非常考验联网工具和AI交叉对比的能力。

                  3、目前的语料已经基本穷尽了,所以为了提升模型的能力,近一两年模型的训练后训练比重非常大。这也就导致了更精准的对齐(也就导致了更刻板的答案)。

                  以上其实都影响AI最终产出。

                  所以楼主所感受的,并不一定是模型本身的问题,甚至不是算法、技术路线的问题,而是目前的大势所趋。是一个商业选择的结果。

                  mei liM 离线
                  mei liM 离线
                  mei li
                  德高望重 劳动模范
                  编写于 最后由 mei li 编辑
                  #10

                  @kop-wang 为了让他表现的厉害,提高所谓的”命中率“可能这些都是手段,现在就是要做的需要她创作的时候她能推理,而不是一味背答案。还有就是最近ai变蠢好多,deepseek 也是不知道他们是不是商量好的。

                  1 条回复 最后回复
                  0
                  • terryT terry

                    @mei-li 并非,人人都在进步,你已经在迈往技术大牛的路上,多发几个帖子。

                    mei liM 离线
                    mei liM 离线
                    mei li
                    德高望重 劳动模范
                    编写于 最后由 编辑
                    #11

                    @terry 好的互相学习,我在这个论坛也学到不少了

                    1 条回复 最后回复
                    1
                    • lukun geL lukun ge

                      ai目前的架构完全不支持产生人类的意识,从物理层面,人类是先有意识,后有计算能力的,现在ai想通过计算能力来产生意识,本来就不符合物理规律。但是,ai即使没有产生意识,它也会让人类短期内大量失业,人类当前的社会分工,大部分是流程化和计算类似的工作,而不是意识类需要创新和思考的工作。这就给能驾驭ai的人,一个人干100个人的工作的能力。残酷现实是:ai并没有提升整个社会的生产力,它只提升了生产效率。因此就会出现新方向的就业机会前还看不到,老的就业岗位的饼的大小也没有发生变化,但人的需求量降低了,失业就是必然结果。
                      失业的结果很大可能会催生游戏和娱乐产业的蓬勃发展,将来要为领着社会失业保障的失业群体打发时间创造条件。

                      mei liM 离线
                      mei liM 离线
                      mei li
                      德高望重 劳动模范
                      编写于 最后由 编辑
                      #12

                      @lukun-ge 所谓的供给侧改革对吧,但是时代车轮滚滚,一段时间总会牺牲一批人,就像之前计划生育,现在鼓励生育一样。

                      1 条回复 最后回复
                      0
                      • S stxpnet

                        bed9b6ad-e760-4e06-a130-5b22ffbbd00e-image.jpeg 量化了之后,它吐出来的字只能信50%

                        mei liM 离线
                        mei liM 离线
                        mei li
                        德高望重 劳动模范
                        编写于 最后由 编辑
                        #13

                        @stxpnet 人家千问官方说q8 量化 比fp8 版本 精度只差1-2%点,我怎么有点不信

                        terryT 1 条回复 最后回复
                        0
                        • mei liM mei li

                          @stxpnet 人家千问官方说q8 量化 比fp8 版本 精度只差1-2%点,我怎么有点不信

                          terryT 在线
                          terryT 在线
                          terry
                          超级版主
                          编写于 最后由 编辑
                          #14

                          @mei-li 正常,事实上Q4KM我的实测体验,和FP8没啥差距,统计误差范围内。权重精度的影响远不如推理精度那么重要。

                          油管:https://www.youtube.com/@抡锤者

                          1 条回复 最后回复
                          0
                          • lukun geL lukun ge

                            ai目前的架构完全不支持产生人类的意识,从物理层面,人类是先有意识,后有计算能力的,现在ai想通过计算能力来产生意识,本来就不符合物理规律。但是,ai即使没有产生意识,它也会让人类短期内大量失业,人类当前的社会分工,大部分是流程化和计算类似的工作,而不是意识类需要创新和思考的工作。这就给能驾驭ai的人,一个人干100个人的工作的能力。残酷现实是:ai并没有提升整个社会的生产力,它只提升了生产效率。因此就会出现新方向的就业机会前还看不到,老的就业岗位的饼的大小也没有发生变化,但人的需求量降低了,失业就是必然结果。
                            失业的结果很大可能会催生游戏和娱乐产业的蓬勃发展,将来要为领着社会失业保障的失业群体打发时间创造条件。

                            crazypeaceC 离线
                            crazypeaceC 离线
                            crazypeace
                            编写于 最后由 编辑
                            #15

                            @lukun-ge 说:

                            ai目前的架构完全不支持产生人类的意识,从物理层面,人类是先有意识,后有计算能力的,现在ai想通过计算能力来产生意识,本来就不符合物理规律。

                            Geoffrey Hinton, one of the inventors of generative AI, gave this great answer in an interview when someone said to him of LLMs, “But they’re not really thinking; they’re just predicting the next word.” And he said, “So how do you come up with your next word?”

                            生成式人工智能的发明者之一杰弗里·辛顿在一次采访中给出了一个精彩的回答。当时有人问他关于LLM的问题:“但它们并没有真正思考;它们只是预测下一个词。” 他反问道:“那么,你如何想出下一个词呢?”

                            source: https://yalereview.org/article/ai-and-the-future-of-writing

                            terryT 1 条回复 最后回复
                            1
                            • crazypeaceC crazypeace

                              @lukun-ge 说:

                              ai目前的架构完全不支持产生人类的意识,从物理层面,人类是先有意识,后有计算能力的,现在ai想通过计算能力来产生意识,本来就不符合物理规律。

                              Geoffrey Hinton, one of the inventors of generative AI, gave this great answer in an interview when someone said to him of LLMs, “But they’re not really thinking; they’re just predicting the next word.” And he said, “So how do you come up with your next word?”

                              生成式人工智能的发明者之一杰弗里·辛顿在一次采访中给出了一个精彩的回答。当时有人问他关于LLM的问题:“但它们并没有真正思考;它们只是预测下一个词。” 他反问道:“那么,你如何想出下一个词呢?”

                              source: https://yalereview.org/article/ai-and-the-future-of-writing

                              terryT 在线
                              terryT 在线
                              terry
                              超级版主
                              编写于 最后由 编辑
                              #16

                              @crazypeace 最近我也在思考这些问题,这个反问非常好,人们通常人认为自己的意识是自主意识,但是自主这个词的定义,或许也只是一种随机涌动。这样的讨论要多展开,我考虑往这个方向做点视频,或者开个直播和你这样好思考的讨论下。这种问题没有高下之分,而且我很喜欢这种精准反击。

                              油管:https://www.youtube.com/@抡锤者

                              1 条回复 最后回复
                              0
                              • ,系统 取消固定了此主题

                              你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                              厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。

                              有了你的建议,这篇帖子会更精彩哦 💗

                              注册 登录
                              回复
                              • 在新帖中回复
                              登录后回复
                              • 从旧到新
                              • 从新到旧
                              • 最多赞同


                              • 登录

                              • 没有帐号? 注册

                              • 登录或注册以进行搜索。
                              • 第一个帖子
                                最后一个帖子
                              0
                              • 版块
                              • 最新
                              • 标签
                              • 热门
                              • 用户
                              • 群组