跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
T

Tony Yun

@Tony Yun
取消关注 关注
关于
帖子
24
主题
8
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 我越来越觉得AI大模型就是一个X-large版的Stackoverflow
    T Tony Yun
    随便聊聊 ai危机

    @xiaote 你怎么不回复了?


  • 我越来越觉得AI大模型就是一个X-large版的Stackoverflow
    T Tony Yun
    随便聊聊 ai危机

    @Geekyang 这部分需求掏空就业 工作机会越来越少了 最后是全中产买单


  • 我越来越觉得AI大模型就是一个X-large版的Stackoverflow
    T Tony Yun
    随便聊聊 ai危机

    表面看上去 什么都能干,什么问题都能接住;
    可实际体验下来,回答的质量几乎没有统一的质量保证。
    还是要靠人力核对,验证,调修。

    最后就变成了一个更好使用体验的stackoverlow。
    给愿意学习的人赋能了一下,缩短了学习的时间。

    但是并非任何想法都能在上面找到答案;
    最终还是靠人的水平/能力 确保产品的质量。

    大部分人来地球就是吃吃喝喝的,没有那么多精力学习;
    愿意学习的精力也有限;愿意玩的又很picky 普通AI的产品没人愿意浪费时间。

    这一波AI发展要是放缓了,这X-large版的Stackoverlow的感觉就更明显了,感觉能把AI股票一波带崩了..

    毕竟谁家没事自己deploy一个本地的stackoverlow 问问题学习啊。这市场还是太小了。


  • agent操作浏览器 还得是codex啊
    T Tony Yun
    AI Agent codex hermes dsharness

    @unafyang 这个浏览器操作感觉又上了新的高度 期待!


  • agent操作浏览器 还得是codex啊
    T Tony Yun
    AI Agent codex hermes dsharness

    试了好几种方案:

    1. dsh + browser use MCP: 各种崩溃 版本冲突 不得不放弃
    2. hermes + browser MCP: 稳定 但是无法看到agent在浏览器的操作
    3. hermes desktop: 可以同步看到agent打开的页面 但是drive_preview各种bug 一堆
    4. codex: 丝滑的浏览器操控体验 就是不能换模型

    问一下你们是否也是一样的体验?


  • Qwen3.8-27b 跑了几个小时做的游戏 不忍直视
    T Tony Yun
    随便聊聊 qwen qwen-27b 本地模型

    @terry 这是qwen3.8-27b 一句提示词做的俄罗斯方块 完成质量还是不错的:

    test.mov

    4130ab8c-40ca-4d4f-898a-840b15bf21f7-image.jpeg


  • Qwen3.8-27b 跑了几个小时做的游戏 不忍直视
    T Tony Yun
    随便聊聊 qwen qwen-27b 本地模型

    @stxpnet 同感 看思考链挺能想 问题稍微上点强度 就变成浪费时间的游戏了


  • Qwen3.8-27b 跑了几个小时做的游戏 不忍直视
    T Tony Yun
    随便聊聊 qwen qwen-27b 本地模型

    @kop-wang 确实 一到要跟人互动的东西 就需要手把手把关 不然惨不忍睹 当然Astra好像是例外 太贵了 我也没有多少额度玩


  • Qwen3.8-27b 跑了几个小时做的游戏 不忍直视
    T Tony Yun
    随便聊聊 qwen qwen-27b 本地模型

    kos-or 我的感觉是跟AI越聊越蠢 往往不如最开始的Oneshot的一致感 当然可能是我给AI拖后腿了


  • Qwen3.8-27b 跑了几个小时做的游戏 不忍直视
    T Tony Yun
    随便聊聊 qwen qwen-27b 本地模型

    @johnnybegood

    我们的目标是做一个2d RPG游戏 要有地图和建筑贴图 参考口袋妖怪 每次把任务拆分一下 开发前 派一个subgent作为游戏策划讨论;开发完 派一个游戏试玩进行全方位测试反馈


  • Qwen3.8-27b 跑了几个小时做的游戏 不忍直视
    T Tony Yun
    随便聊聊 qwen qwen-27b 本地模型

    ninfer框架 decode 70~170 tok/s DSH里跑了几个小时 又是QA 又是策划 看着对话挺像回事 最后一玩 一整个浪费时间:

    dc806d66-cabc-4694-af48-d5e3ef0df4e4-image.jpeg

    76b5fa70-726f-4a1e-aea4-ea6ce1241317-image.jpeg

    它还整了一个音乐 老大声 没法放上来听。

    这就是本地27b的极限了吗?还是我harness和工具不到位 😓


  • M5 Ultra的1.2T/s高带宽有多大用处?
    T Tony Yun
    LLM讨论区 mac apple-m5

    M芯片prefill速度慢如蜗牛 估计就N卡的1/10速度;我在想选配96GB到底能有多大生产力


  • GPT建议我降低--max-token-len 这合理吗?
    T Tony Yun
    LLM讨论区 gpt

    @Tony-Wang 可以跑的,还行。我max model len也是放满262k的 还行:a699396c-d432-4efd-bdac-fdab0f9f544a-image.jpeg


  • GPT建议我降低--max-token-len 这合理吗?
    T Tony Yun
    LLM讨论区 gpt

    @九龙杨生 0.98应该没什么问题,几乎没有因为OOM崩过


  • GPT建议我降低--max-token-len 这合理吗?
    T Tony Yun
    LLM讨论区 gpt

    @Xiaote 如果是coding呢?130k就不够了吧


  • GPT建议我降低--max-token-len 这合理吗?
    T Tony Yun
    LLM讨论区 gpt

    @566656661 L40S 48GB


  • GPT建议我降低--max-token-len 这合理吗?
    T Tony Yun
    LLM讨论区 gpt

    我现在的vllm启动命令:

    --served-model-name qwen3.6-27b-fp8
    --kv-cache-dtype fp8
    --dtype auto
    --max-model-len 262144
    --gpu-memory-utilization 0.98
    --max-num-seqs 32
    --max-num-batched-tokens 4096
    --trust-remote-code
    --enable-auto-tool-choice
    --tool-call-parser qwen3_coder
    --reasoning-parser qwen3
    --enable-prefix-caching
    --compilation-config '{"cudagraph_capture_sizes": [1, 2, 4, 8]}'
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'
    --port 8000 --host 0.0.0.0

    但是经常超高cache,导致请求latency长达十几分钟。可是我不想限制max-model-len 这样最大上下文就没有260K了(gpt建议减半)。可130k上下文能干什么啊。


  • 大家有什么让LLM 24小时不停工作的方案啊
    T Tony Yun
    LLM讨论区 本地模型

    @kop-wang 感觉cron触发很呆 大部分时候都要人参与进去 单纯的cron好像很难生成什么高质量的内容


  • 大家有什么让LLM 24小时不停工作的方案啊
    T Tony Yun
    LLM讨论区 本地模型

    @566656661 那感觉还是deepseek v4 pro完全够用了 也用不了几块钱


  • Qwen3.6 27b FP8 260K CTX - 准备放弃了
    T Tony Yun
    LLM讨论区 本地模型 qwen-27b 量化

    这正常thinking就老长了 叠加20tok/s 的吞吐慢如蜗牛。关了thinking直接降智,回答洗车店问题就整不对了。

    用的L40S GPU,号称有FP8 tensor core,可没有任何感觉,跟用Q8感觉没有区别。

    就这速度让agent干活我得等冒烟了。又没有特别好的工程方法让他们自己干活。 让它干一天估计不如deepV4Pro干一小时。

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组