跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
V

vosrock

@vosrock
德高望重 劳动模范
取消关注 关注
关于
帖子
113
主题
4
分享
0
群组
2
粉丝
1
关注
0

帖子

最新 最佳 有争议的

  • mac m5 ultra上线中国官网。1.2T显存带宽,256GB版本8.6万
    V vosrock

    8万多,我为何不买几张4090?

    AI硬件 mac apple-m3 apple-m5

  • Hermes agent 會每隔幾輪就會跑self improvement耗很多時間跟tokens
    V vosrock

    这是两种不同的智能体,PI是工程师,工程师会顶你个肺,骂你不专业,给的命令不清晰严谨老子就不干了,HERMES是小秘书,贴心,怎么滴都会哄着你开开心心的,不过会刷你的卡买包包。

    AI Agent hermes

  • Hermes agent 會每隔幾輪就會跑self improvement耗很多時間跟tokens
    V vosrock

    我也发现了,然后我问他有什么后台在运行的任务,他说没有,但事实上,大模型疯狂输出,
    现在除了DSH崩溃了,或者有一些系统配置方面的问题,我基本不打开HERMES了

    AI Agent hermes

  • M5 Max/Ultral AI性能强悍?苹果、AMD、英伟达AI小主机AI性能全面分析,潜力很大但统一内存并非万能!
    V vosrock

    这些小主机基本都是YY,算了吧

    AI硬件 mac amd nvidia apple-m5 apple-m6

  • 借着QWEN3.8MOE的发布,秀一下QWEN3.6MOE DDR4的性能
    V vosrock

    所以125BA6BMOE很值得期待啊,从我的这套东西跑Ds4F的裁剪版本经验来看,PR800,15TS应该可以做到,结合DSH跑长任务的能力,也许垃圾硬件真就可以干活了。

    AI Agent qwen llama.cpp

  • 借着QWEN3.8MOE的发布,秀一下QWEN3.6MOE DDR4的性能
    V vosrock
    .\hermeswork\llama.cpp\build\bin\Release\llama-server.exe -m D:\hermeswork\models\Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-Q8_0.gguf `
     -c 262144 `
     -ngl 999 `
     -t 24 `
     -tb 24 `
     -b 32768 `
     -ub 4096 `
     -np 1 `
     -ncmoe 26 `
     --temp 0.1 `
     --top-p 0.9 `
     --top-k 40 `
     --min-p 0.05 `
     --presence-penalty 1.0 `
     --repeat-penalty 1.05 `
     --flash-attn on `
     --reasoning off `
     -ctk q8_0 `
     -ctv q8_0 `
     -cms 16384 `
     --ctx-checkpoints 48 `
     --cache-reuse 4096 `
     --host 0.0.0.0 `
     --port 11434 `
     --load-mode mlock
    
    

    初始PR1400,32TS,讲真这个量化精度其实损失很低了,我下载模型的时候打算用MTP的,后来发现MTP不会带来任何的加速,我估计是PCI带宽是瓶颈,(还轮不到DDR4)
    咦我好像发不了图片

    AI Agent qwen llama.cpp

  • 准备好迎接Qwen3.8-Flash-Next 125B A6B
    V vosrock

    @Bunsei 说:

    本来以为128G的模型,结果发现是一个快到200G的...只能等老哥们的实测效果了。

    毕竟这么大的模型开放权重,我倒是觉得用不起不是别人的问题,是我的问题

    LLM讨论区 qwen

  • 准备好迎接Qwen3.8-Flash-Next 125B A6B
    V vosrock

    @stxpnet 说:

    对啊,就看它优化得如何了。 我一直的设想是,这种MOE是文科生,回答问题速度快,多轮下来,直击一个问题的各个方面,然后最后进行一个大总结,速度快,角度全。应该和同等价值硬件能跑稠密模型有得一拼,然而事实却总是打脸。 我最后还是会选择稠密,宁愿久一点,都不要错一点。

    应该是激活参数的大小决定了能力上限了,A6B我倒是觉得小了点,不过等出来看看吧,之前尝试过QWEN3 CODER NEXT,80BA3B跑内存也能到1000PR30TS,这个速度实际上也可用了,这个125B估计又要Q4量化才玩得动了

    LLM讨论区 qwen

  • DSH感觉很有前途啊
    V vosrock

    哎,还是不行,不知道是什么问题,第一次运行开始是好好的,后来可能是跑顺了,一下子开了10个子代理,本地大模型只有一个槽位,于是显卡疯狂转动一下午,点开看所有字代理都在工作,我以为死循环了,于是直接重启了DSH,结果发现它写了全部的大纲,但是后来写着写着,写大纲就变成写脚本了,而且写了有200多集的脚本,我抽着看了几集,写的还可以呢,对白也不算机械
    可能我不管它让他跑一晚上说不定真的能够完成这个任务
    但是我重新开始这个任务,这个时候就乱七八糟了,对白也不停的重复,机械感十足,再也无法重现第一次的结果了,DSH好像自己写了一个SKILL,怎么就越用越差了

    AI Agent dsharness

  • DSH感觉很有前途啊
    V vosrock

    卧槽,还真的有点东西啊,120集了,第二季了,虽然已经开始有点啰嗦,什么核心概念出现的的次数有点多,嗯,或者说太多了,质量先不说,但是真就不打折的一直干下去了

    AI Agent dsharness

  • DSH感觉很有前途啊
    V vosrock

    @kop-wang 说:

    @vosrock 故事讲得好。在此之前都是专业垂类Agent,几乎没有日常Agent这个概念。即便有也是向coze这种固定工作流。

    而且又有“子Agent专家”这种类人类组织结构的表述。让外行也能一目了然。感觉非常专业。

    再加上这种全行业Agent,符合当时跟进的数据中心急于卖铲子的核心利益诉求。

    相当于是用户侧和供给侧都踩中了节奏。

    btw:Pi就是openClaw的coding core,所以历史总是在无限循环。

    咦?自动回贴吗,您后面几句好浓厚的AI味道啊,哈哈
    我现在正在让他写长剧本,不知道是不是我提示词写得比以前好了,还是DSH真的牛,以前这种一句话的任务,开头10集还能凑够字数,到10集后基本一句话就5集过去了,现在看了前面60集的脚本,竟然没缩水,逻辑也是没问题,事件也正常节奏推进,真要挑毛病就是对白简单了点,不过我的要求也没说到那么具体。

    AI Agent dsharness

  • DSH感觉很有前途啊
    V vosrock

    对了,除了搜索插件,我啥插件都没主动安装,算是个半裸状态吧,已经很强了

    AI Agent dsharness

  • DSH感觉很有前途啊
    V vosrock

    @kop-wang 说:

    hermes和openClaw逐渐势微,主要还是二者的核心竞争力(龙虾是子agent、agent团队、蜂群,hermes是跨session记忆、自动梳理skill)要么被各个大厂的harness内化,要么被强大的模型能力直接碾压,要么是被证伪。

    deepseek harness的爆火,主要核心还是deepseek这个品牌的带动。
    其实他这个理念,和Pi没什么不同。就是纯的品牌优势,这个其他竞品羡慕不来。

    讲真,龙虾我连装都没装过,不知道他们HI个啥,HERMES出来我才开始尝试的

    AI Agent dsharness

  • DSH感觉很有前途啊
    V vosrock

    @terry 说:

    @vosrock 发个测试帖子呢?详细点说下它能干嘛?能编程吗?

    编程挺强的,我写一句话:生成网页版3D射击游戏。第一轮页面黑屏,然后告诉它黑屏了并将网页控制台的出错信息给他,第二轮就通过了,画面和玩法都很不错,
    第二句话是:在新建目录中生成简易版的PUBG。经过几轮的修复,居然也能玩!巨大的开放式地图,载具,武器系统,篮圈缩小机制,虽然比较简陋,也算是个挺复杂的项目了
    正式的项目还没敢上。
    用它接入35B出现死循环的几率和用HERMES接入27B差不多,几率大大减小,而且DSH它自己就会恢复,这就让35B真的具备修BUG的能力了,不会像用HERMES调用35B那样BUG越修越多

    AI Agent dsharness

  • DSH感觉很有前途啊
    V vosrock

    之前使用HERMES的时候,35B经常会出现工具循环调用,但是DSH就很少出现,而且上下文涨得很慢,未来可期啊
    PS最近将HERMES更新了,更新之后上下文蹭蹭的涨,响应感觉也慢了许多,大家有感觉到吗?

    AI Agent dsharness

  • 7900XTX+Qwen 3.8 27B Q4 + DeepSeek Harness 实测
    V vosrock

    实测了,35B还是不行,老老实实用27B了

    AI硬件 7900xtx qwen-27b deepseek

  • Qwen3.8-27B-Q4_K_M 極端測驗
    V vosrock

    要想3.8的27B好用,还需要时间

    LLM讨论区 qwen-27b 量化

  • Qwen3.8-27B-Q4_K_M 極端測驗
    V vosrock

    讲真,基于Q4 KM量化的模型,3.8没有给到我惊艳的感觉,我现在用的是THINKCAP的模型,相当于是社区对3。6长期优化版本,体验比3.8要好的多

    LLM讨论区 qwen-27b 量化

  • 7900XTX+Qwen 3.8 27B Q4 + DeepSeek Harness 实测
    V vosrock

    最近35B感觉又行了,之前测试用了Q4量化,最近发现实际上用Q8量化也是可以跑的,就是速度慢点,而且KV量化也可以用Q80,甚至不做KV量化,这样比原来测试的时候精度提高不少

    AI硬件 7900xtx qwen-27b deepseek

  • Qwen3.8-27B的生态位分析
    V vosrock

    DS刚涨价,就推出比DSV4F预览版好的本地模型,厂家们对咱们还是挺好的

    LLM讨论区 qwen-27b 本地模型
  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组