跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
Bin MaoB

Bin Mao

@Bin Mao
取消关注 关注
关于
帖子
12
主题
2
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • M5MAX 128G换了快30个本地部署模型后,唯一选择edge0-35B-A3B-Preview
    Bin MaoB Bin Mao
    LLM讨论区 apple-m5 mac 本地模型

    M5MAX 128G换了快30个本地部署模型后(Qwen3.8、3.6、gemma 4、muse glimmer、ornith等各种MLX或者Q量化,从4Bit到PF16都尝试了),唯一选择edge0-35B-A3B-Preview,兼顾了速度、质量、agent调用等,适合hermes、workbuddy以及DSH,大家可以试试!

    这个模型机制有些不一样,属于内存占用弹性分配,edge0模型常驻SSD,除了有点儿费SSD,其他没啥毛病,你要说做一个鹈鹕骑单车svg,还是有差距,但是对于我日常使用(文本、量化、python编辑、lightGBM和tranformer训练等)足够了,且速度真的很快,大家可以尝试一下,工程能力推荐DSH或者codex。

    此模型没有kv cache等,纯使用都已经非常不错了,单请求140t/s,dsh加载100t/s,hermes没记录。

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组