跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. AI大爆发时代,本地模型和推理到底该怎么测速?——一个 GitHub 搬运工的抛砖引玉

AI大爆发时代,本地模型和推理到底该怎么测速?——一个 GitHub 搬运工的抛砖引玉

已定时 已固定 已锁定 已移动 LLM讨论区
本地模型
11 帖子 4 发布者 565 浏览 1 关注中
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • stxpnetS
    stxpnetS
    stxpnet
    王侯将相
    编写于 最后由 编辑
    #2

    最后那个MD文件打开似乎乱码,楼主可以发个UTF-8的吗?

    双卡3090 PCIE 4.0 16X/16X

    白天(宰相) Strata QFN3.8 IQ4_XS 262K ~120 t/s
    夜间(将军) vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s
    Ben LeeB 1 条回复 最后回复
    0
    • stxpnetS stxpnet

      最后那个MD文件打开似乎乱码,楼主可以发个UTF-8的吗?

      Ben LeeB
      Ben LeeB
      Ben Lee
      王侯将相
      编写于 最后由 编辑
      #3

      @stxpnet 试试看这个能正常打开不,有问题跟我讲哈。

      本地模型测速一键执行指南_SOP完整版_2026-10-13_UTF-8.md

      1 条回复 最后回复
      0
      • Tony WangT
        Tony WangT
        Tony Wang
        易有太极
        编写于 最后由 Tony Wang 编辑
        #4

        @ben-lee @stxpnet

        • 这两个文件都是 UTF8, 无BOM. 下载下来一般的文本编辑器都可以正确读取.
        • 点击在浏览器里显示, 我的Chrome也是乱码, 这个是http头的响应问题, 浏览器没有正确识别到编码.
        • 这和我们浏览器的缺省编码设置也有关系, 我的safari一开始也是乱码, 后来我把缺省编码改为 UTF-8, safari 显示就正常了. 不过 chrome 好像没有这个选项.

        @terry 以下是AI 总结:

        【问题反馈】upload.lcz.me 上的 .md 文件,浏览器直接打开是乱码

        现象
        用 Chrome 直接打开 https://upload.lcz.me/uploads/d6f7505a-4080-4b9f-aa32-6f7a9a786ed5.md 这类 .md 文件,中文全部显示成乱码。

        排查

        • 文件本身是正常的 UTF-8(无 BOM),下载到本地用文本编辑器打开中文完全正常;
        • 但服务端返回的响应头是 Content-Type: text/markdown,没有带 ; charset=utf-8;
        • “没有 BOM + 没有 charset 声明”,浏览器只能去猜编码,猜错(如按 GBK)就乱码。

        建议修复
        把该类文件的响应头改成:

        Content-Type: text/markdown; charset=utf-8
        

        (或 text/plain; charset=utf-8)

        这样所有浏览器都会明确按 UTF-8 解码,彻底解决乱码,不用用户手动处理文件。

        临时规避(用户侧):把文件保存为“UTF-8 带 BOM”也能让浏览器正确识别,但这只是绕开,服务端加上 charset 才是根治。

        terryT 1 条回复 最后回复
        2
        • Tony WangT
          Tony WangT
          Tony Wang
          易有太极
          编写于 最后由 编辑
          #5

          【补充对比】lcz.me 正常响应头都带 charset,只有上传存储里的文件缺

          来源 Content-Type 带 charset?
          lcz.me 论坛主页(NodeBB) text/html; charset=utf-8 ✅
          upload.lcz.me/ 根 404 页(Cloudflare) text/plain;charset=UTF-8 ✅
          upload.lcz.me/uploads/xxx.md(上传文件) text/markdown ❌

          这是典型的 Cloudflare R2 / S3 对象存储直发文件特征:按扩展名推断出 text/markdown,但不会自动补 charset。整站正常页面都带 charset,唯独上传存储里的文件缺,是这一层的配置缺口。

          建议修复(任选其一):

          1. 上传 .md 等文本类文件时显式设置 Content-Type: text/markdown; charset=utf-8(或 text/plain; charset=utf-8);
          2. 在 Cloudflare 对 upload.lcz.me 的 text/* 响应加一条 Transform 规则,统一补上 ; charset=utf-8。
          Ben LeeB 1 条回复 最后回复
          2
          • Tony WangT Tony Wang

            【补充对比】lcz.me 正常响应头都带 charset,只有上传存储里的文件缺

            来源 Content-Type 带 charset?
            lcz.me 论坛主页(NodeBB) text/html; charset=utf-8 ✅
            upload.lcz.me/ 根 404 页(Cloudflare) text/plain;charset=UTF-8 ✅
            upload.lcz.me/uploads/xxx.md(上传文件) text/markdown ❌

            这是典型的 Cloudflare R2 / S3 对象存储直发文件特征:按扩展名推断出 text/markdown,但不会自动补 charset。整站正常页面都带 charset,唯独上传存储里的文件缺,是这一层的配置缺口。

            建议修复(任选其一):

            1. 上传 .md 等文本类文件时显式设置 Content-Type: text/markdown; charset=utf-8(或 text/plain; charset=utf-8);
            2. 在 Cloudflare 对 upload.lcz.me 的 text/* 响应加一条 Transform 规则,统一补上 ; charset=utf-8。
            Ben LeeB
            Ben LeeB
            Ben Lee
            王侯将相
            编写于 最后由 编辑
            #6

            @Tony-Wang 学习了 👍

            1 条回复 最后回复
            0
            • Ben LeeB
              Ben LeeB
              Ben Lee
              王侯将相
              编写于 最后由 编辑
              #7

              根据Wang大的建议,修改MD再上传看效果

              本地模型测速一键执行指南_SOP完整版_2026-10-13_UTF-8-BOM.md

              1 条回复 最后回复
              1
              • Ben LeeB
                Ben LeeB
                Ben Lee
                王侯将相
                编写于 最后由 编辑
                #8

                上个帖子自测实测,修改后,可以正常在Chrome里点击打开链接直接阅读。

                1 条回复 最后回复
                0
                • Tony WangT Tony Wang

                  @ben-lee @stxpnet

                  • 这两个文件都是 UTF8, 无BOM. 下载下来一般的文本编辑器都可以正确读取.
                  • 点击在浏览器里显示, 我的Chrome也是乱码, 这个是http头的响应问题, 浏览器没有正确识别到编码.
                  • 这和我们浏览器的缺省编码设置也有关系, 我的safari一开始也是乱码, 后来我把缺省编码改为 UTF-8, safari 显示就正常了. 不过 chrome 好像没有这个选项.

                  @terry 以下是AI 总结:

                  【问题反馈】upload.lcz.me 上的 .md 文件,浏览器直接打开是乱码

                  现象
                  用 Chrome 直接打开 https://upload.lcz.me/uploads/d6f7505a-4080-4b9f-aa32-6f7a9a786ed5.md 这类 .md 文件,中文全部显示成乱码。

                  排查

                  • 文件本身是正常的 UTF-8(无 BOM),下载到本地用文本编辑器打开中文完全正常;
                  • 但服务端返回的响应头是 Content-Type: text/markdown,没有带 ; charset=utf-8;
                  • “没有 BOM + 没有 charset 声明”,浏览器只能去猜编码,猜错(如按 GBK)就乱码。

                  建议修复
                  把该类文件的响应头改成:

                  Content-Type: text/markdown; charset=utf-8
                  

                  (或 text/plain; charset=utf-8)

                  这样所有浏览器都会明确按 UTF-8 解码,彻底解决乱码,不用用户手动处理文件。

                  临时规避(用户侧):把文件保存为“UTF-8 带 BOM”也能让浏览器正确识别,但这只是绕开,服务端加上 charset 才是根治。

                  terryT
                  terryT
                  terry
                  易有太极
                  编写于 最后由 terry 编辑
                  #9

                  @Tony-Wang Cloudflare加入页面规则可以解决乱码,但是资源有限,这里的资源都是保留给大规模网络攻击时应急用的。不过我可以让AI写个插件,把上传的附件修饰下。

                  油管:https://www.youtube.com/@抡锤者

                  1 条回复 最后回复
                  0
                  • Tony WangT
                    Tony WangT
                    Tony Wang
                    易有太极
                    编写于 最后由 编辑
                    #10

                    @terry 全都好了 👍 👍

                    terryT 1 条回复 最后回复
                    0
                    • Tony WangT Tony Wang

                      @terry 全都好了 👍 👍

                      terryT
                      terryT
                      terry
                      易有太极
                      编写于 最后由 编辑
                      #11

                      @Tony-Wang 只是实验了下原理,修复过往问题,一会弄个插件就好了。

                      油管:https://www.youtube.com/@抡锤者

                      1 条回复 最后回复
                      0
                      • ,系统 取消固定了此主题
                      • ,Ben LeeB Ben Lee 引用了 此主题

                      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                      有了你的建议,这篇帖子会更精彩哦 💗

                      注册 登录
                      回复
                      • 在新帖中回复
                      登录后回复
                      • 从旧到新
                      • 从新到旧
                      • 最多赞同


                      • 登录

                      • 登录或注册以进行搜索。
                      • 第一个帖子
                        最后一个帖子
                      0
                      • 版块
                      • 最新
                      • 标签
                      • 热门
                      • 用户
                      • 群组