跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
折叠
品牌标识

抡锤者

J

jlist

@jlist
取消关注 关注
关于
帖子
18
主题
1
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 求助下大家,打算买个R9700,想问下几年前的电脑CPU和显卡能继续用上吗
    J jlist

    @Xiaote 謝謝。不過不知道哪個是對的, Gemini如此說:

    By default, ComfyUI does not load full model weights into system RAM as a complete duplicate before copying them to VRAM. Instead, it uses PyTorch's memory mapping (mmap) or meta-devices to inspect and stage weights directly, dynamically streaming or moving only the necessary components into VRAM as execution demands.How ComfyUI Manages MemoryMemory Mapping (mmap): For formats like safetensors, ComfyUI maps files via pointers rather than performing deep copies into system RAM.Dynamic Loading: Individual model parts are paged or transferred to the GPU device context selectively during processing.Startup Flags: Behavior changes depending on arguments like --highvram (which keeps models resident on the GPU) or --gpu-only (which attempts to bypass system memory staging entirely).

    AI硬件 r9700

  • 分享:4090/48G, R9700/32G, AI Max 395 (8060S) 跑大语言模型的实测数据
    J jlist

    @terry said:

    @jlist 你是说驱动hermes吗?我早期设置过64k,现在都是256k起步,正常它随便跑跑,上下文就超过128k了。不128k应该还是能跑的,但是会截断记忆,影响不大。64k似乎确实难弄。

    我一直用64K,Hermes至少可以跑最简单的任务。我看前面@xiaote 说 "32K 足够跑大多数 agent 任务",好奇这是如何工作的,因为在我这里Hermes完全不能工作。

    LLM讨论区 r9700

  • 分享:4090/48G, R9700/32G, AI Max 395 (8060S) 跑大语言模型的实测数据
    J jlist

    @Xiaote 不好意思,我前面打错了。改过model.context_length也无效。这个是hermes显示设定值:

    $ hermes config get model.context_length
    32000

    Hermes可以启动,不回答任何问题,直接显示前面截图里面的消息。

    Model qwen3.5-4b-mtp@q6_k_xl has a context window of 32,000 tokens, which is below the minimum 64,000 required by Hermes Agent. Choose a model with at least 64K context. If your server reports a window smaller than the model's true window, set model.context_length in config.yaml to the real value (this must be at least 64K).

    LLM讨论区 r9700

  • 求助下大家,打算买个R9700,想问下几年前的电脑CPU和显卡能继续用上吗
    J jlist

    @Xiaote said:

    1. 你现在 32GB 单卡够用,但 R9700 是 32GB 显存,跑视频工作流(LTX/Wan 这类)时模型+权重进显存前要先过内存,32GB 会紧。后面补到 64GB 再上双卡是对的。

    RAM到VRAM拷贝应该是逐块拷,为什么需要很大内存?

    AI硬件 r9700

  • 分享:4090/48G, R9700/32G, AI Max 395 (8060S) 跑大语言模型的实测数据
    J jlist

    @terry 哈,Hermes完全罢工,只显示上面的错误,不回答任何问题

    LLM讨论区 r9700

  • 小白請教入門級的全新硬體
    J jlist

    @柳登議 395跑27B会很吃力。35B A3B玩一玩应可以,会自己循环出不来,而且经常感觉不够聪明

    AI硬件

  • 分享:4090/48G, R9700/32G, AI Max 395 (8060S) 跑大语言模型的实测数据
    J jlist

    @Xiaote 可能是版本问题,我用最新版Hermes Desktop,context length 64000以下完全不工作,即使把config.yaml model.context_model改成32000也不工作。还有其他要改吗?

    24388b92-6756-4dd2-906e-317a0fdbe7da-image.jpeg

    收到MBP之后会报告。

    LLM讨论区 r9700

  • 分享:4090/48G, R9700/32G, AI Max 395 (8060S) 跑大语言模型的实测数据
    J jlist

    @Xiaote Hermes Agent要求最少64KB吧,否则好像会不工作

    LLM讨论区 r9700

  • 分享:4090/48G, R9700/32G, AI Max 395 (8060S) 跑大语言模型的实测数据
    J jlist

    @James-Wei 不好意思,回老帖了。请问有试过hermes agent吗?一般认为agentic workflow用MTP反而会慢,因为context太长,所以对agent没有帮助。感觉在小主机上,包括AI max 395, Spark, MacBook/Mini,只有35B可用。27B太慢了。

    LLM讨论区 r9700

  • 小白請教入門級的全新硬體
    J jlist

    @terry 我想试试在64GB Macbook Pro上跑Qwen3.6 35B + Hermes Agent,模型和系统各用一半,希望可以跑起来。

    AI硬件

  • 小白請教入門級的全新硬體
    J jlist

    @williamlouis 模型装在GPU VRAM的话,SYSTEM RAM仍然需要很大吗?

    AI硬件

  • 请教egpu USB4看不到显卡,AMD LM Studio Crashes
    J jlist

    @cicadabear 好,不过暂时可能不一定。我主要目标是run hermes agent,短期可能用35B A3B,只要AI Max+ 395,或者Macbook/Mini M1/M2/M3 Max就应该可以。现在在用HX370也可用,只是慢一点。等需要认真生成视频才会再研究eGPU。

    AI硬件 lmstudio

  • 请教egpu USB4看不到显卡,AMD LM Studio Crashes
    J jlist

    謝謝@xiaote 找了Event Manager,沒有看到4101。LM Studio Vulkan Runtime也會crash。所有能升級的軟體已經全部升級過了。其實此前ROCm就crash,一度用Vulkan可以,現在也不行了。很多人說AMD支持正在改進,看來還沒有到穩定。難道要花三倍價錢入 NVIDIA AI Pro 4500...

    AI硬件 lmstudio

  • 新手不要碰DGX Spark(重要事情说三遍)
    J jlist

    @sarcoma 请问你如何用395?内存很大速度不够快,跑hermes只能35B A3b,还是不够聪明,个人感觉有些鸡肋

    随便聊聊 dgxspark gb10

  • 请教egpu USB4看不到显卡,AMD LM Studio Crashes
    J jlist

    谢谢 @xiaote

    关于问题1:BIOS里面没有Thunderbolt/USB4选项,选不了了。开机顺序也如你所说。Device Manager能识别eGPU dock,但Display devices下面没有R9700出现。虽说Oculink能用就好,仍然没有想到USB会不行:(。
    关于问题2:Oculink连,虽然能看到卡,但瞬间crash。LM Studio和Runtime都是最新,AMD drivers也是最新。750W供电,应该不是电源问题。AMD感觉仍然不太靠谱的样子。

    这两个问题在Linux上会不会好一点?用USB如果BIOS不支持,大概USB还是不能用。

    AI硬件 lmstudio

  • M5 Macbook Pro Max 硬件测试 求助
    J jlist

    @xiaote 谢谢

    AI硬件 mac

  • M5 Macbook Pro Max 硬件测试 求助
    J jlist

    搭车问,35B A3B跑Hermes有碰到不断重复出不来,是quant太低的问题?

    AI硬件 mac

  • 请教egpu USB4看不到显卡,AMD LM Studio Crashes
    J jlist

    我在Win11上用Minisforum DEB2 eGPU dock + AMD AI Pro R9700,遇到两个问题,希望各位不吝赐教。

    1. 用Oculink可以看到显卡。如果用USB链接(DEG2开关拨到USB,USB线接Upstream USB4),电脑主机看不到显卡,AMD software安装过程也看不到显卡。DEG2支持USB4/Thunderbolt 5,为何看不到显卡呢?
    2. 用Oculink连,LM Studio ROCm和Vulkan两个runtime都会马上crash,显卡也会从Task Manager消失,应该是底层可能是driver crash了。重启电脑后会继续crash。
      请问有用DEG eGPU的同学可以交流吗?
    AI硬件 lmstudio
  • 登录

  • 没有帐号? 注册

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组