<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[關於本地版的模型]]></title><description><![CDATA[<p dir="auto">各位前輩大家好:<br />
我是一個看不懂英文的電腦外行人，<br />
看了版主的視頻後，剛從openclaw龍蝦改換到HERMES，<br />
我的電腦是U9 285K CPU，192G DDR5記憶體，<br />
NVIDIA RTX PRO<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2122.png?v=9a87c0a6150" class="not-responsive emoji emoji-android emoji--tm" style="height:23px;width:auto;vertical-align:middle" title="™" alt="™" /> 6000 Blackwell Max-Q Workstation Edition 96G顯示卡<br />
現在安裝了本地版的hermes，用了qwen3-vl:32B跟qwen3.5:122B的模型<br />
但是122B的模型無法讀取視訊，32B的模型雖然能讀取視訊，但回應都很簡略(有點笨)，<br />
我查了ChatGPT等AI然後下載了幾個qwen3.6的模型，但是hermes都不能正常使用，<br />
想請問各位前輩，可以推薦幾個能讀取圖片跟視訊，而且能讓hernes使用的多模態模型，<br />
有70B以上的，體積在80G以內的更好，<br />
謝謝大家</p>
]]></description><link>https://lcz.me/topic/284/關於本地版的模型</link><generator>RSS for Node</generator><lastBuildDate>Wed, 01 Jul 2026 15:35:42 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/284.rss" rel="self" type="application/rss+xml"/><pubDate>Sun, 24 May 2026 01:34:56 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 06:16:50 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E6%80%AA%E7%89%A9" aria-label="Profile: 怪物">@<bdi>怪物</bdi></a>  122b 模型是safetensor还是GGUF? 同目录有没有放 mmproj 模型？ 放了的话应该支持多模态的，没放肯定是不支持的</p>
]]></description><link>https://lcz.me/post/3369</link><guid isPermaLink="true">https://lcz.me/post/3369</guid><dc:creator><![CDATA[johnnybegood]]></dc:creator><pubDate>Sun, 24 May 2026 06:16:50 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 05:27:19 GMT]]></title><description><![CDATA[<p dir="auto">直接上BF16精度，大小50多G，然后剩下的显存用来搞上下文之类的；你要有comfyui同时加载的需求就用FP8精度，你现在没有并发需求，comfyui和FP8模型都能一起塞进电脑。</p>
]]></description><link>https://lcz.me/post/3364</link><guid isPermaLink="true">https://lcz.me/post/3364</guid><dc:creator><![CDATA[[[global:former-user]]]]></dc:creator><pubDate>Sun, 24 May 2026 05:27:19 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 04:07:53 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a><br />
好的，我來試試，謝謝</p>
]]></description><link>https://lcz.me/post/3361</link><guid isPermaLink="true">https://lcz.me/post/3361</guid><dc:creator><![CDATA[怪物]]></dc:creator><pubDate>Sun, 24 May 2026 04:07:53 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 03:29:20 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E6%80%AA%E7%89%A9" aria-label="Profile: 怪物">@<bdi>怪物</bdi></a> 你先不管其他的，先下载Qwen3.6 27b Q4KM，用llama.cpp把程序跑起来，这个模型很强大，精度也够，虽然有点配不上你显卡的算力，但是够用了。其它的暂时不要管，你连搜模型都不会，就不要折腾了。这个模型不会浪费你的时间，很强大。</p>
]]></description><link>https://lcz.me/post/3356</link><guid isPermaLink="true">https://lcz.me/post/3356</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 24 May 2026 03:29:20 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 02:29:12 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a><br />
好的，是找QWEN3.6:35B-FP8<br />
或是QWEN3.6:70B-FP8的模型嗎?<br />
謝謝</p>
]]></description><link>https://lcz.me/post/3346</link><guid isPermaLink="true">https://lcz.me/post/3346</guid><dc:creator><![CDATA[怪物]]></dc:creator><pubDate>Sun, 24 May 2026 02:29:12 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 02:26:05 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E6%80%AA%E7%89%A9" aria-label="Profile: 怪物">@<bdi>怪物</bdi></a> 你搜下，你这个显存这么大，是不是有FP8的量化模型，如果有，那最适合你的卡，速度快，精度也够。我们一般都用Q4量化。不要用Q6，毫无意义。</p>
]]></description><link>https://lcz.me/post/3345</link><guid isPermaLink="true">https://lcz.me/post/3345</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 24 May 2026 02:26:05 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 02:24:21 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a><br />
好的，不好意思，我再研究看看，謝謝</p>
]]></description><link>https://lcz.me/post/3344</link><guid isPermaLink="true">https://lcz.me/post/3344</guid><dc:creator><![CDATA[怪物]]></dc:creator><pubDate>Sun, 24 May 2026 02:24:21 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 02:22:07 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E8%80%81%E8%8C%B6" aria-label="Profile: 老茶">@<bdi>老茶</bdi></a><br />
我買的時候不知道它的差異，這個max-Q的便宜1萬塊，我就買了<br />
實際使用上感覺很不錯，70~122B的模型都能順跑，ComfyUI生成一張普通圖片只要6~10秒，<br />
而且高效運轉時約75~85度C，電腦後方它的渦輪風扇排出的熱氣比機殼本身14CM的風扇還強，<br />
我就在想，如果是一般版的600W，一定會熱爆。</p>
]]></description><link>https://lcz.me/post/3342</link><guid isPermaLink="true">https://lcz.me/post/3342</guid><dc:creator><![CDATA[怪物]]></dc:creator><pubDate>Sun, 24 May 2026 02:22:07 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 02:21:00 GMT]]></title><description><![CDATA[<p dir="auto">1，换用llama.cpp，甚至你可以用lmstudio先玩起来。<br />
2，你也不说系统。<br />
3，下载Qwen3.6 Q4KM就行了，你的显存可以空下来做多会话和kv，Q4精度足够了。</p>
<p dir="auto">你别用==这样的符号作为分割线，特别大，影响阅读。</p>
]]></description><link>https://lcz.me/post/3340</link><guid isPermaLink="true">https://lcz.me/post/3340</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 24 May 2026 02:21:00 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 02:20:29 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a><br />
我的122B是千問3.5的，它只可以讀文檔跟圖片，<br />
至於千問3.6，這是昨天我按照ChatGPT的只是安裝後他給的答案:</p>
<p dir="auto">這次錯誤已經很明確：<br />
failed to initialize model: qwen3next:<br />
layer 40 missing attn_qkv/attn_gate projections<br />
結論：你的 Q6、Q8 檔案不是壞掉；是目前 Ollama 無法正確載入這種 Qwen3.6 / Qwen3Next 架構。<br />
你已經用「HF 直接 pull」和「本機 GGUF + Modelfile」兩種方式都測過，Q6、Q8 都同樣失敗，所以不是下載問題。<br />
這個錯誤和 Ollama 對 Qwen3-Next / Qwen3.5 類 MoE / hybrid 架構支援不完整有關。GitHub 上也有人回報同類錯誤，例如 qwen3next: layer 0 missing attn_qkv/attn_gate projections，在不同 Ollama 版本都出現過。<br />
現在該怎麼做<br />
你如果堅持「不用 llama.cpp、只用 Ollama 給 Hermes」，目前這個 Qwen3.6-35B-A3B 暫時不能用。不是你的操作錯，而是 Ollama 後端不支援或有 bug。<br />
先把不能跑的 Q6 / Q8 從 Ollama 清單移除，保留實體 GGUF 檔案在 C 碟：</p>
<p dir="auto">不過我今天問了hermes，他自己主動幫我下在新的千問3.6模型，並且已經可以使用了，<br />
而且可以自動利用我電腦裡的ComfyUI幫我生成圖片，現在正在測試生成視頻<br />
謝謝</p>
]]></description><link>https://lcz.me/post/3339</link><guid isPermaLink="true">https://lcz.me/post/3339</guid><dc:creator><![CDATA[怪物]]></dc:creator><pubDate>Sun, 24 May 2026 02:20:29 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 02:10:51 GMT]]></title><description><![CDATA[<p dir="auto">你说122B模型无法读取视频，这个没办法帮你验证，我们没有那么大显存跑122b模型，我感觉还是你设置有问题，千问3.6都是多模态的，不可能122B就无法识别。</p>
<p dir="auto">安装Qwen3.7 27b模型，或者Qwen3.6 35b A3b。没有没有模型比Qwen3.6 27b模型能打的，你折腾好这个模型就行了。你硬件这么强，无所谓什么框架，驱动hermes怎么会不能用？有什么问题？具体情况你要详细描述，操作系统，AI推理软件，模型，错误信息，你要贴出来啊。</p>
]]></description><link>https://lcz.me/post/3334</link><guid isPermaLink="true">https://lcz.me/post/3334</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 24 May 2026 02:10:51 GMT</pubDate></item><item><title><![CDATA[Reply to 關於本地版的模型 on Sun, 24 May 2026 02:03:50 GMT]]></title><description><![CDATA[<p dir="auto">这块卡很有特点，300W的功耗，性能没有损失太多，后续升级潜力大，一直在关注。</p>
]]></description><link>https://lcz.me/post/3330</link><guid isPermaLink="true">https://lcz.me/post/3330</guid><dc:creator><![CDATA[老茶]]></dc:creator><pubDate>Sun, 24 May 2026 02:03:50 GMT</pubDate></item></channel></rss>