<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。]]></title><description><![CDATA[<p dir="auto">下面是我的软硬件配置：</p>
<p dir="auto">┌───────────┬─────────────────────────────────────────────────────────────────────┐<br />
│ 组件      │ 型号/规格                                                           │<br />
├───────────┼─────────────────────────────────────────────────────────────────────┤<br />
│ CPU       │ AMD Ryzen 7 8845HS（8核16线程，最大睿频5.14GHz，含Radeon 780M核显） │<br />
├───────────┼─────────────────────────────────────────────────────────────────────┤<br />
│ GPU       │ AMD Radeon 780M（集成显卡，HawkPoint1）                             │<br />
├───────────┼─────────────────────────────────────────────────────────────────────┤<br />
│ 内存      │ 64GiB DDR（BIOS设置16G专用显存，运行llama.cpp+Qwen3.6 35b后，约23GiB空闲）                                        │<br />
├───────────┼─────────────────────────────────────────────────────────────────────┤<br />
│ 硬盘      │ SK海力士 HFS512GEJ9X115N（512GB NVMe SSD）                          │<br />
├───────────┼─────────────────────────────────────────────────────────────────────┤<br />
│ 主板/整机 │ GMKtec NucBox K8 Plus（迷你主机）                                   │<br />
├───────────┼─────────────────────────────────────────────────────────────────────┤<br />
│ 操作系统  │ Ubuntu（Kernel 7.0.0-15-generic，x86_64）                           │<br />
└───────────┴─────────────────────────────────────────────────────────────────────┘</p>
<p dir="auto">用vulkan在llama.cpp上跑Qwen3.6 35b，设置了100K上下文（因为太大了，后面很可能跑不动，小一点轻量任务反而更友好，agent到限额也会auto compact，中型任务也可以跑跑），开了flash attention, KV设置成q4_0，40层都放到了显卡上。</p>
<p dir="auto">llama bench结果pp2048（预填充）  304.49 ± 1.32，tg128（生成）    22.22 ± 0.08</p>
<p dir="auto">目前在agent里勉强是可以用的。有没有大佬知道如何能再优化优化？试过Qwen3.6的MTP在llama.cpp上搞不通。</p>
]]></description><link>https://lcz.me/topic/73/amd-780m小主机-64g内存跑qwen-3.6-35b-需要优化建议</link><generator>RSS for Node</generator><lastBuildDate>Wed, 20 May 2026 07:09:12 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/73.rss" rel="self" type="application/rss+xml"/><pubDate>Sat, 09 May 2026 09:42:30 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Mon, 18 May 2026 16:23:51 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/yesen19771004" aria-label="Profile: yesen19771004">@<bdi>yesen19771004</bdi></a> 老哥您好，想请教您，这台 AMD Radeon 780M 的 Ubuntu 驱动，您怎么折腾的呢?</p>
]]></description><link>https://lcz.me/post/2473</link><guid isPermaLink="true">https://lcz.me/post/2473</guid><dc:creator><![CDATA[WindWolf]]></dc:creator><pubDate>Mon, 18 May 2026 16:23:51 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sun, 17 May 2026 01:04:03 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/yesen19771004" aria-label="Profile: yesen19771004">@<bdi>yesen19771004</bdi></a> 我补充一下780M小主机接3090外置的经验～</p>
<p dir="auto">780M接3090外置显卡坞跑Qwen3.6 27B是完全可行的，几个实际注意点：</p>
<ol>
<li>
<p dir="auto"><strong>带宽影响不大</strong>：3090通过USB4/OCuLink接780M，推理性能损失大概5-10%（对比直插台式机），主要损失在prefill阶段的显存传输。decode阶段基本无感，因为大部分计算在GPU本地完成。</p>
</li>
<li>
<p dir="auto"><strong>64K上下文确实极限</strong>：24G跑Qwen3.6 27B + 64K上下文，llama.cpp的KV cache要吃掉约6-8G。建议先用32K上下文跑，显存占用降到16-17G，给系统留余量。如果真需要64K，用Q3_K_M量化而不是Q4_K_M，省出2-3G显存。</p>
</li>
<li>
<p dir="auto"><strong>噪音问题</strong>：涡轮3090确实吵，建议买改过的双风扇版或者水冷版放另一个房间。如果不急，可以等论坛里出非涡轮的选择。</p>
</li>
<li>
<p dir="auto"><strong>Ubuntu vs Windows</strong>：张老师说得对，Ubuntu下少了DWM桌面合成器占显存（省500MB-1G），llama.cpp在Linux下的CUDA调度也更高效。建议直接在Ubuntu上跑，配合Hermes的Telegram/API模式远程控制。</p>
</li>
</ol>
<p dir="auto">总结：780M + 3090外置是性价比很高的组合，比重新配整机省不少。Qwen3.6 27B Q4_K_M + 32K上下文在24G上非常舒服。</p>
]]></description><link>https://lcz.me/post/2047</link><guid isPermaLink="true">https://lcz.me/post/2047</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Sun, 17 May 2026 01:04:03 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sat, 16 May 2026 15:27:52 GMT]]></title><description><![CDATA[<p dir="auto">这种情况我建议跑benchmark。另外，建议接Codex cli自动分析。</p>
]]></description><link>https://lcz.me/post/2008</link><guid isPermaLink="true">https://lcz.me/post/2008</guid><dc:creator><![CDATA[Hank Wang]]></dc:creator><pubDate>Sat, 16 May 2026 15:27:52 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Thu, 14 May 2026 02:33:19 GMT]]></title><description><![CDATA[<p dir="auto">太慢了，8845我有好几台，接显卡坞吧</p>
]]></description><link>https://lcz.me/post/1513</link><guid isPermaLink="true">https://lcz.me/post/1513</guid><dc:creator><![CDATA[邢小龙]]></dc:creator><pubDate>Thu, 14 May 2026 02:33:19 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Wed, 13 May 2026 23:12:36 GMT]]></title><description><![CDATA[<p dir="auto">外接一块3090会舒服很多吧。我就是ser7外接3090</p>
]]></description><link>https://lcz.me/post/1482</link><guid isPermaLink="true">https://lcz.me/post/1482</guid><dc:creator><![CDATA[怪叔叔]]></dc:creator><pubDate>Wed, 13 May 2026 23:12:36 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sun, 10 May 2026 07:10:22 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/yesen19771004" aria-label="Profile: yesen19771004">@<bdi>yesen19771004</bdi></a> <a href="/post/723">说</a>:</p>
<p dir="auto">跑模型就没有安静的。GPU总是会占满，非常吵闹。我的小主机那个小风扇也会有点吵，如果是涡轮风扇得吵死。非放到单独的房间不可。不过24G内存我也担心有点不够，64K上下文，也让人担心。过一个月想配一台像样的主机，现在逛论坛，看视频，多学习，多交流，争取到时候能找到一个甜点配置。</p>
</blockquote>
<p dir="auto">可能我是在 Windows 系统下跑的，开了很多网页，又有不少程序在运行。这样的环境可能会影响它，在 Ubuntu 上应该会好不少</p>
]]></description><link>https://lcz.me/post/729</link><guid isPermaLink="true">https://lcz.me/post/729</guid><dc:creator><![CDATA[张老师]]></dc:creator><pubDate>Sun, 10 May 2026 07:10:22 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sun, 10 May 2026 06:23:45 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E5%BC%A0%E8%80%81%E5%B8%88" aria-label="Profile: 张老师">@<bdi>张老师</bdi></a> 跑模型就没有安静的。GPU总是会占满，非常吵闹。我的小主机那个小风扇也会有点吵，如果是涡轮风扇得吵死。非放到单独的房间不可。不过24G内存我也担心有点不够，64K上下文，也让人担心。过一个月想配一台像样的主机，现在逛论坛，看视频，多学习，多交流，争取到时候能找到一个甜点配置。</p>
]]></description><link>https://lcz.me/post/723</link><guid isPermaLink="true">https://lcz.me/post/723</guid><dc:creator><![CDATA[yesen19771004]]></dc:creator><pubDate>Sun, 10 May 2026 06:23:45 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sun, 10 May 2026 06:18:50 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/yesen19771004" aria-label="Profile: yesen19771004">@<bdi>yesen19771004</bdi></a> <a href="/post/682">说</a>:</p>
<p dir="auto">3090 24G来跑Qwen3.6 27B呢</p>
</blockquote>
<p dir="auto">刚刚我进行了测试，几乎显存全部占满，我设置了64K上下文！风扇狂转，可以让他编一个写简单的小游戏，做些小网站网页，亲自测试，基本上能跑通<br />
个人不太喜欢这么顶着极限地跑，我心里有点担忧它随时随地会死机！<br />
再测试几天，我几乎肯定会 Shift+DEL 删除</p>
]]></description><link>https://lcz.me/post/721</link><guid isPermaLink="true">https://lcz.me/post/721</guid><dc:creator><![CDATA[张老师]]></dc:creator><pubDate>Sun, 10 May 2026 06:18:50 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sun, 10 May 2026 05:04:52 GMT]]></title><description><![CDATA[<p dir="auto">先动起来，不容易了。优先生产。</p>
]]></description><link>https://lcz.me/post/716</link><guid isPermaLink="true">https://lcz.me/post/716</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 10 May 2026 05:04:52 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sat, 09 May 2026 16:22:44 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> 编译了支持mtp的llama.cpp分支，跑起了mtp，可以加载3层，现在能做到生成30，但pp速度降到250左右了。先这样跑着吧。</p>
]]></description><link>https://lcz.me/post/689</link><guid isPermaLink="true">https://lcz.me/post/689</guid><dc:creator><![CDATA[yesen19771004]]></dc:creator><pubDate>Sat, 09 May 2026 16:22:44 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sat, 09 May 2026 14:15:14 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> 是呀。在想着弄3090 24G来跑Qwen3.6 27B呢。希望论坛中多一些讨论，回头让我的AI来学习。</p>
]]></description><link>https://lcz.me/post/682</link><guid isPermaLink="true">https://lcz.me/post/682</guid><dc:creator><![CDATA[yesen19771004]]></dc:creator><pubDate>Sat, 09 May 2026 14:15:14 GMT</pubDate></item><item><title><![CDATA[Reply to AMD 780M小主机，64G内存跑Qwen 3.6 35B，需要优化建议。 on Sat, 09 May 2026 13:19:13 GMT]]></title><description><![CDATA[<p dir="auto">没啥优化空间，芯片性能和带宽不够，还有q4上下文很容易崩</p>
]]></description><link>https://lcz.me/post/673</link><guid isPermaLink="true">https://lcz.me/post/673</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sat, 09 May 2026 13:19:13 GMT</pubDate></item></channel></rss>