抡锤者

好消息是Nvidia Pro 4500 Blackwell，說不定還有其他卡，也能用

NInfer有Windows版,可以直接用, 説不定比WSL快一點?

@paul-hou 請教，“關閉所有圖形介面”， 是完全不用圖形介面，還是關閉其他GUI應用？CachyOS相比Ubuntu 26.04 LTS有優勢嗎？有點擔心穩定性

@MSHAVL said:

抽卡生片

抽卡的做法是同一個prompt生成多次供選擇？完全自動的challenge在於很多shot都不能用，生成的shot prompt經常需要人工改。不知老大如何解決？

@懒人烘培 R9700沒覺得吵

@terry 了解，你特指魔改版，有长期可靠性问题。

@terry "以后跌价最狠的可能这两张卡都在列"
这么说的原因是？私以为这两张卡各有特色，一个是小模型跑得快，一个是大模型能跑和高并发，各有用途吧。
我也倾向于一张卡少麻烦，以后模型更大还可以再扩张。

@williamlouis 同意，做控制可用，也有些鸡肋，35B还不是很可靠，27B好一些，很慢。

@怪叔叔 不好意思，回老帖了，我这里GGUF比MLX快，用LM Studio

@Xiaote 同意。有適合Hermes Agent的RAG推薦嗎？

@Tony-Wang 有道理。我没有写过，可以想象写东西知识多会有帮助。做研究是否需要大模型？

感觉unified memory小主机的sweet spot在64GB，跑35B MOE+Hermes比较适合，虽然不算smart，基本可用。27B驱动Hermes就很慢不可用。其余24-32GB留作系统内存，接eGPU也够用。DGX Spark/Strix Halo 128GB RAM的，可以装进大model因为速度太慢也不实用，也就鸡肋了。

@Xiaote 謝謝。不過不知道哪個是對的， Gemini如此說：

By default, ComfyUI does not load full model weights into system RAM as a complete duplicate before copying them to VRAM. Instead, it uses PyTorch's memory mapping (mmap) or meta-devices to inspect and stage weights directly, dynamically streaming or moving only the necessary components into VRAM as execution demands.How ComfyUI Manages MemoryMemory Mapping (mmap): For formats like safetensors, ComfyUI maps files via pointers rather than performing deep copies into system RAM.Dynamic Loading: Individual model parts are paged or transferred to the GPU device context selectively during processing.Startup Flags: Behavior changes depending on arguments like --highvram (which keeps models resident on the GPU) or --gpu-only (which attempts to bypass system memory staging entirely).

@terry said:

@jlist 你是说驱动hermes吗？我早期设置过64k，现在都是256k起步，正常它随便跑跑，上下文就超过128k了。不128k应该还是能跑的，但是会截断记忆，影响不大。64k似乎确实难弄。

我一直用64K，Hermes至少可以跑最简单的任务。我看前面@xiaote 说 "32K 足够跑大多数 agent 任务"，好奇这是如何工作的，因为在我这里Hermes完全不能工作。

@Xiaote 不好意思，我前面打错了。改过model.context_length也无效。这个是hermes显示设定值：

$ hermes config get model.context_length
32000

Hermes可以启动，不回答任何问题，直接显示前面截图里面的消息。

Model qwen3.5-4b-mtp@q6_k_xl has a context window of 32,000 tokens, which is below the minimum 64,000 required by Hermes Agent. Choose a model with at least 64K context. If your server reports a window smaller than the model's true window, set model.context_length in config.yaml to the real value (this must be at least 64K).

@Xiaote said:

1. 你现在 32GB 单卡够用，但 R9700 是 32GB 显存，跑视频工作流（LTX/Wan 这类）时模型+权重进显存前要先过内存，32GB 会紧。后面补到 64GB 再上双卡是对的。

RAM到VRAM拷贝应该是逐块拷，为什么需要很大内存？

@terry 哈，Hermes完全罢工，只显示上面的错误，不回答任何问题

@柳登議 395跑27B会很吃力。35B A3B玩一玩应可以，会自己循环出不来，而且经常感觉不够聪明

@Xiaote 可能是版本问题，我用最新版Hermes Desktop，context length 64000以下完全不工作，即使把config.yaml model.context_model改成32000也不工作。还有其他要改吗？

收到MBP之后会报告。

@Xiaote Hermes Agent要求最少64KB吧，否则好像会不工作