<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[各位大神，求一个最合适的模型]]></title><description><![CDATA[<p dir="auto">双 3090、128GB DDR4 3600MHz 内存、3950X、4TB PCIe SSD。</p>
<p dir="auto">在这套配置下，Strata 可以运行 QFN IQ4，解码速度能达到每周期 100–150 bit，prefill 速度超过 3000</p>
<p dir="auto">但我只是一个人用。感觉这点速度其实没多大用。我希望能把速度换成智力</p>
<p dir="auto">有没有大神推荐其他引擎或模型， 可以保持 decode 在 70-80就行， 但智力可以提升一大截的？</p>
<p dir="auto">deepseek v4 flash , glm 5.3 flash 等我也试过了， 速度还到不了这么高， 有没有更好的推荐？</p>
]]></description><link>https://lcz.me/topic/3121</link><generator>RSS for Node</generator><lastBuildDate>Thu, 19 Nov 2026 00:16:31 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/3121.rss" rel="self" type="application/rss+xml"/><pubDate>Mon, 16 Nov 2026 10:17:13 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Thu, 19 Nov 2026 00:03:21 GMT]]></title><description><![CDATA[<p dir="auto">Q5/Q6 提升的主要是「保真度」，不是模型本身的智力上限。Q4/IQ4 的量化误差会先伤指令遵循和长链推理，所以从 Q4 换到 Q5_K_M、Q6_K 常常感觉「变聪明了」，本质是把底座原有的能力补回来；如果 IQ4_XS 在你的任务上已经很稳，这一步的收益会小于换更大/更强的底座。</p>
<p dir="auto">双 3090 48G 上 27B 的可行档位：Q5_K_M 约 18–19G，配 32K 左右上下文比较稳；Q6_K 约 21–22G，KV 只剩很少，长上下文会掉，70–80 decode 也更吃紧。想保速度又提质量，优先 Q5_K_M + 32K；官方 FP8 27B 双卡 TP 也能放，但 3090 没有原生 FP8 算力，decode 会明显降。</p>
<p dir="auto">真要跨档提升，还是等 Qwen4 或走云端；这套硬件在本地性价比最高的点就在 Q5 这一档。</p>
]]></description><link>https://lcz.me/post/34500</link><guid isPermaLink="true">https://lcz.me/post/34500</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 19 Nov 2026 00:03:21 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 22:37:51 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/stxpnet" aria-label="Profile: stxpnet">@<bdi>stxpnet</bdi></a> 有道理， 不过 Q5 Q6貌似提高的是精度， 不一定是智力？</p>
]]></description><link>https://lcz.me/post/34490</link><guid isPermaLink="true">https://lcz.me/post/34490</guid><dc:creator><![CDATA[johnnybegood]]></dc:creator><pubDate>Wed, 18 Nov 2026 22:37:51 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 22:37:03 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/ivan-lan" aria-label="Profile: ivan-lan">@<bdi>ivan-lan</bdi></a> 确实， 对于我来说最好的选择就是等 Qwen4.0</p>
]]></description><link>https://lcz.me/post/34489</link><guid isPermaLink="true">https://lcz.me/post/34489</guid><dc:creator><![CDATA[johnnybegood]]></dc:creator><pubDate>Wed, 18 Nov 2026 22:37:03 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 08:05:55 GMT]]></title><description><![CDATA[<p dir="auto">所以还是好好研究下提示词工程靠谱些，再换也还是个模型对吧。</p>
]]></description><link>https://lcz.me/post/34347</link><guid isPermaLink="true">https://lcz.me/post/34347</guid><dc:creator><![CDATA[Magic629]]></dc:creator><pubDate>Wed, 18 Nov 2026 08:05:55 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 07:04:16 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/johnnybegood" aria-label="Profile: johnnybegood">@<bdi>johnnybegood</bdi></a> <a href="/post/33787">说</a>:</p>
<p dir="auto">双 3090、128GB DDR4 3600MHz 内存、3950X、4TB PCIe SSD。</p>
<p dir="auto">在这套配置下，Strata 可以运行 QFN IQ4，解码速度能达到每周期 100–150 bit，prefill 速度超过 3000</p>
<p dir="auto">但我只是一个人用。感觉这点速度其实没多大用。我希望能把速度换成智力</p>
<p dir="auto">有没有大神推荐其他引擎或模型， 可以保持 decode 在 70-80就行， 但智力可以提升一大截的？</p>
<p dir="auto">deepseek v4 flash , glm 5.3 flash 等我也试过了， 速度还到不了这么高， 有没有更好的推荐？</p>
</blockquote>
<p dir="auto">双卡27B Q5 或者Q6 ，试过吗？ EXL H5 H6的，应该是速度和智力的均衡了。 各种实力接近原版。  如果你只是写代码。 今天刚出了PI的LORA， <a href="https://huggingface.co/harness-hub/Qwen3.8-27B-pi-adapted-GGUF" rel="nofollow ugc">https://huggingface.co/harness-hub/Qwen3.8-27B-pi-adapted-GGUF</a> 用它来配 最新的UNSLOTH UD3.1 Q4KM 单卡应该可以了，55T/S的样子，140K左右上下文。  双卡我没试过，我的HERMES告诉我加了MTP和LORA就不能用视觉。</p>
]]></description><link>https://lcz.me/post/34329</link><guid isPermaLink="true">https://lcz.me/post/34329</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Wed, 18 Nov 2026 07:04:16 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 06:45:05 GMT]]></title><description><![CDATA[<ul>
<li>SGLang/Qwen-3.8-27B：生产级推理引擎，配上蒸馏后的稠密模型，支持 256 长上下文，多并发，表现稳定，但是知识广度不行</li>
<li>Strata/Qwen-Flash-Next：实验本地推理引擎，让消费级显卡也能用上 100B+ 的 MOE 模型，支持 256 长上下文，只能单卡单开，并发限制很多，指令遵循明显不如27B, 不能用于主流的 Agent 多并发生产，但是，虽然参数量大，知识广度和工具调用能力更强，可以用抗审查版本来做一些偏 Chatbot、调研或者黄果短剧的剧情类的事情。</li>
</ul>
<hr />
<p dir="auto">期待下Qwen-4.0-27B</p>
]]></description><link>https://lcz.me/post/34326</link><guid isPermaLink="true">https://lcz.me/post/34326</guid><dc:creator><![CDATA[ivan lan]]></dc:creator><pubDate>Wed, 18 Nov 2026 06:45:05 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 05:41:51 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f525.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--fire" style="height:1.4em;width:auto;vertical-align:middle" title="🔥" alt="🔥" /> 本帖参与讨论人数已达 <strong>10+</strong>，入选<strong>热议</strong>，作者 <strong>+3 积分</strong>奖励！</p>
<blockquote>
<p dir="auto">奖励凭证：热议 +3 分 · 编号 h3121-363-1</p>
</blockquote>
]]></description><link>https://lcz.me/post/34308</link><guid isPermaLink="true">https://lcz.me/post/34308</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Wed, 18 Nov 2026 05:41:51 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 05:42:33 GMT]]></title><description><![CDATA[<p dir="auto">其實 Local LLM越強, 不知道為什麼我會有點小緊張 @@<br />
總是要花一段時間才能適應</p>
<p dir="auto">大概是在心理層面還無法接受AI這種超現實的存在吧<br />
但ChatGPT-4o 我還是能接受的 因為很好玩</p>
]]></description><link>https://lcz.me/post/34307</link><guid isPermaLink="true">https://lcz.me/post/34307</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Wed, 18 Nov 2026 05:42:33 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 05:27:03 GMT]]></title><description><![CDATA[<p dir="auto">如果仅限楼主的设备的话，没有了。</p>
<p dir="auto">1、更高精度的QFN。不划算，能力差异在误差级别。<br />
2、更大的模型，楼主的设备跑不了。</p>
]]></description><link>https://lcz.me/post/34303</link><guid isPermaLink="true">https://lcz.me/post/34303</guid><dc:creator><![CDATA[kop wang]]></dc:creator><pubDate>Wed, 18 Nov 2026 05:27:03 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Wed, 18 Nov 2026 05:13:09 GMT]]></title><description><![CDATA[<p dir="auto">這樣還覺得智力不夠 只能考慮雲端了  XD</p>
]]></description><link>https://lcz.me/post/34300</link><guid isPermaLink="true">https://lcz.me/post/34300</guid><dc:creator><![CDATA[好米玉]]></dc:creator><pubDate>Wed, 18 Nov 2026 05:13:09 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Tue, 17 Nov 2026 03:01:22 GMT]]></title><description><![CDATA[<p dir="auto">QFN3.8 UD3.1 IQ4XS + STRATA速度快，但是思维有点天马行空，不太适合编程。 QENGINE + REDHAT INT4 W4A16 ，速度勉强，跑分比较高，精度也高。 目前我硬盘上就留 这两款了。  <a class="plugin-mentions-user plugin-mentions-a" href="/user/johnnybegood" aria-label="Profile: johnnybegood">@<bdi>johnnybegood</bdi></a></p>
]]></description><link>https://lcz.me/post/34019</link><guid isPermaLink="true">https://lcz.me/post/34019</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Tue, 17 Nov 2026 03:01:22 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Mon, 16 Nov 2026 17:48:29 GMT]]></title><description><![CDATA[<p dir="auto">可能是数据BUG了。我这你发的是个空贴。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/cccffe62-ad53-4047-8d40-d3b649e2c12d.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /><br />
已经告诉小特维护了。</p>
]]></description><link>https://lcz.me/post/33944</link><guid isPermaLink="true">https://lcz.me/post/33944</guid><dc:creator><![CDATA[williamlouis]]></dc:creator><pubDate>Mon, 16 Nov 2026 17:48:29 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Mon, 16 Nov 2026 17:23:37 GMT]]></title><description><![CDATA[<p dir="auto">不要速度那就要精度，也就是你说的智力。<br />
Qwen3.8 27B FP8官方原版的智力比那些量化版更高，持续使用时的完成度更高，意外中断、死循环等都更少。</p>
]]></description><link>https://lcz.me/post/33930</link><guid isPermaLink="true">https://lcz.me/post/33930</guid><dc:creator><![CDATA[2025 CN]]></dc:creator><pubDate>Mon, 16 Nov 2026 17:23:37 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Mon, 16 Nov 2026 16:44:13 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E5%BC%A0%E5%85%89%E7%92%9E" aria-label="Profile: 张光璞">@<bdi>张光璞</bdi></a> 本地受到硬件的限制。你能猜出结果？</p>
]]></description><link>https://lcz.me/post/33911</link><guid isPermaLink="true">https://lcz.me/post/33911</guid><dc:creator><![CDATA[williamlouis]]></dc:creator><pubDate>Mon, 16 Nov 2026 16:44:13 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Mon, 16 Nov 2026 16:20:34 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/rori" aria-label="Profile: rori">@<bdi>rori</bdi></a> 我也有 GPT订阅 ， 同样的提示词， 本地跟在线的差距， 我估计你也能知道吧。 所以我希望本地能再聪明一些。</p>
]]></description><link>https://lcz.me/post/33902</link><guid isPermaLink="true">https://lcz.me/post/33902</guid><dc:creator><![CDATA[johnnybegood]]></dc:creator><pubDate>Mon, 16 Nov 2026 16:20:34 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Mon, 16 Nov 2026 15:50:33 GMT]]></title><description><![CDATA[<p dir="auto">这是我的真实在开发的事情。。。。黄果短剧乱78糟的全部在这里</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/45e6e4c1-64cb-466e-af85-cd864e43acfa.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">最近我的codex 都没有什么动，排队白送我几个reset ，我都还没开始消耗</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/c0ce3f44-6166-446d-af76-b605f6c8998f.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/post/33892</link><guid isPermaLink="true">https://lcz.me/post/33892</guid><dc:creator><![CDATA[imbiplaza ASUS]]></dc:creator><pubDate>Mon, 16 Nov 2026 15:50:33 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Mon, 16 Nov 2026 15:35:50 GMT]]></title><description><![CDATA[<p dir="auto">本地大模型能當工具用的, 我相信你已經試過了。<br />
QFN或27B的智力已經夠。</p>
<p dir="auto">我建議你應該研究如何用足夠細節的prompt令大模型能夠生產出你要結果。<br />
如果你只會說:"AI, 你跟我做好它" 之類的prompt,<br />
即使給你用美國的A跟O公司最貴的模型, 那出來的結果你也不會滿意的。</p>
<p dir="auto">現在AI還不能取替人類的工作流程只有2個:<br />
1: 提出人類想要的概念<br />
2: 驗收AI出來的結果</p>
]]></description><link>https://lcz.me/post/33884</link><guid isPermaLink="true">https://lcz.me/post/33884</guid><dc:creator><![CDATA[rori]]></dc:creator><pubDate>Mon, 16 Nov 2026 15:35:50 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Mon, 16 Nov 2026 14:56:17 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/williamlouis" aria-label="Profile: williamlouis">@<bdi>williamlouis</bdi></a> <a href="/post/33807">说</a>:</p>
<p dir="auto">DSH 陪 DeepSeek</p>
</blockquote>
<p dir="auto">人家明显说的是本地</p>
]]></description><link>https://lcz.me/post/33871</link><guid isPermaLink="true">https://lcz.me/post/33871</guid><dc:creator><![CDATA[张光璞]]></dc:creator><pubDate>Mon, 16 Nov 2026 14:56:17 GMT</pubDate></item><item><title><![CDATA[Reply to 各位大神，求一个最合适的模型 on Mon, 16 Nov 2026 11:29:45 GMT]]></title><description><![CDATA[<p dir="auto">DSH 陪 DeepSeek</p>
]]></description><link>https://lcz.me/post/33807</link><guid isPermaLink="true">https://lcz.me/post/33807</guid><dc:creator><![CDATA[williamlouis]]></dc:creator><pubDate>Mon, 16 Nov 2026 11:29:45 GMT</pubDate></item></channel></rss>