關於本地版的模型
-
各位前輩大家好:
我是一個看不懂英文的電腦外行人，
看了版主的視頻後，剛從openclaw龍蝦改換到HERMES，
我的電腦是U9 285K CPU，192G DDR5記憶體，
NVIDIA RTX PRO
6000 Blackwell Max-Q Workstation Edition 96G顯示卡
現在安裝了本地版的hermes，用了qwen3-vl:32B跟qwen3.5:122B的模型
但是122B的模型無法讀取視訊，32B的模型雖然能讀取視訊，但回應都很簡略(有點笨)，
我查了ChatGPT等AI然後下載了幾個qwen3.6的模型，但是hermes都不能正常使用，
想請問各位前輩，可以推薦幾個能讀取圖片跟視訊，而且能讓hernes使用的多模態模型，
有70B以上的，體積在80G以內的更好，
謝謝大家 -
-
你说122B模型无法读取视频，这个没办法帮你验证，我们没有那么大显存跑122b模型，我感觉还是你设置有问题，千问3.6都是多模态的，不可能122B就无法识别。
安装Qwen3.7 27b模型，或者Qwen3.6 35b A3b。没有没有模型比Qwen3.6 27b模型能打的，你折腾好这个模型就行了。你硬件这么强，无所谓什么框架，驱动hermes怎么会不能用？有什么问题？具体情况你要详细描述，操作系统，AI推理软件，模型，错误信息，你要贴出来啊。
@terry
我的122B是千問3.5的，它只可以讀文檔跟圖片，
至於千問3.6，這是昨天我按照ChatGPT的只是安裝後他給的答案:這次錯誤已經很明確：
failed to initialize model: qwen3next:
layer 40 missing attn_qkv/attn_gate projections
結論：你的 Q6、Q8 檔案不是壞掉；是目前 Ollama 無法正確載入這種 Qwen3.6 / Qwen3Next 架構。
你已經用「HF 直接 pull」和「本機 GGUF + Modelfile」兩種方式都測過，Q6、Q8 都同樣失敗，所以不是下載問題。
這個錯誤和 Ollama 對 Qwen3-Next / Qwen3.5 類 MoE / hybrid 架構支援不完整有關。GitHub 上也有人回報同類錯誤，例如 qwen3next: layer 0 missing attn_qkv/attn_gate projections，在不同 Ollama 版本都出現過。
現在該怎麼做
你如果堅持「不用 llama.cpp、只用 Ollama 給 Hermes」，目前這個 Qwen3.6-35B-A3B 暫時不能用。不是你的操作錯，而是 Ollama 後端不支援或有 bug。
先把不能跑的 Q6 / Q8 從 Ollama 清單移除，保留實體 GGUF 檔案在 C 碟：不過我今天問了hermes，他自己主動幫我下在新的千問3.6模型，並且已經可以使用了，
而且可以自動利用我電腦裡的ComfyUI幫我生成圖片，現在正在測試生成視頻
謝謝 -
1，换用llama.cpp，甚至你可以用lmstudio先玩起来。
2，你也不说系统。
3，下载Qwen3.6 Q4KM就行了，你的显存可以空下来做多会话和kv，Q4精度足够了。你别用==这样的符号作为分割线，特别大，影响阅读。
-
@怪物 你先不管其他的，先下载Qwen3.6 27b Q4KM，用llama.cpp把程序跑起来，这个模型很强大，精度也够，虽然有点配不上你显卡的算力，但是够用了。其它的暂时不要管，你连搜模型都不会，就不要折腾了。这个模型不会浪费你的时间，很强大。
-
各位前輩大家好:
我是一個看不懂英文的電腦外行人，
看了版主的視頻後，剛從openclaw龍蝦改換到HERMES，
我的電腦是U9 285K CPU，192G DDR5記憶體，
NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 96G顯示卡
現在安裝了本地版的hermes，用了qwen3-vl:32B跟qwen3.5:122B的模型
但是122B的模型無法讀取視訊，32B的模型雖然能讀取視訊，但回應都很簡略(有點笨)，
我查了ChatGPT等AI然後下載了幾個qwen3.6的模型，但是hermes都不能正常使用，
想請問各位前輩，可以推薦幾個能讀取圖片跟視訊，而且能讓hernes使用的多模態模型，
有70B以上的，體積在80G以內的更好，
謝謝大家
