<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[关于Ubuntu部署llama.cpp的一些疑问]]></title><description><![CDATA[<ol>
<li>硬件配置<br />
显卡 (GPU): AMD Radeon RX 7900 XTX (24GB VRAM)<br />
计算环境: ROCm 驱动加速（gfx1100 架构）<br />
内存 (RAM): 宿主机64GB</li>
<li>系统环境<br />
宿主机系统: Ubuntu 26.04 LTS<br />
部署方式: Docker 容器化部署<br />
镜像来源: rocm/dev-ubuntu-24.04<br />
ROCm 版本: ROCM7.2.3-complete</li>
</ol>
<p dir="auto">问题：<br />
1.第一次接触Ubuntu系统，请问我这样的部署方式对吗（宿主机尽量保证干净，llama.cpp、rocm直接放在容器里）<br />
2.CLI模式启动参数一直报错，Gemini给我的解释是llama.cpp更新太快，指令经常更新，我不知道它有没有忽悠我，还有在对话过程中，终端会无间断、高频率地弹出 &gt; 提示符，不给用户输入指令的机会，或者在用户输入后无响应并持续跳行。<br />
3.llama-server可以正常使用，试了一下网页可以打开并使用，roo code插件接入也能正常写代码，麻烦帮我看看我的指令有没有其他问题<br />
这是我服务启用的指令<br />
cd /opt/llama.cpp/build/bin</p>
<p dir="auto">HIP_VISIBLE_DEVICES=0 ./llama-server <br />
--model ../../models/Qwen3.6-27B-Q4_K_M.gguf <br />
--n-gpu-layers 99 <br />
--port 8080 <br />
--host 0.0.0.0</p>
<p dir="auto">本人小白一枚，昨天第一次跑通这个llama.cpp，请大神们解答一下，感谢</p>
]]></description><link>https://lcz.me/topic/57/关于ubuntu部署llama.cpp的一些疑问</link><generator>RSS for Node</generator><lastBuildDate>Wed, 20 May 2026 07:04:41 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/57.rss" rel="self" type="application/rss+xml"/><pubDate>Fri, 08 May 2026 00:43:30 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 关于Ubuntu部署llama.cpp的一些疑问 on Fri, 08 May 2026 06:14:44 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E5%B9%BB%E7%8D%B8" aria-label="Profile: 幻獸">@<bdi>幻獸</bdi></a> 思路没问题，我也是linux新手，现阶段99%的问题把运行环境+操作日志+错误反馈直接粘贴给在线大模型都能给出解决办法来。如果它给你绕了弯路你就按老特说的直接开骂就完事。qwen3.6-27b应该是当前100b以内最适合本地IT/Code的模型，相对3.5对指令遵循性做了进一步强化（信息来自在线Qwen Plus）。Q4量化算是甜点程度，确实没啥可挑的。</p>
]]></description><link>https://lcz.me/post/525</link><guid isPermaLink="true">https://lcz.me/post/525</guid><dc:creator><![CDATA[benton yi]]></dc:creator><pubDate>Fri, 08 May 2026 06:14:44 GMT</pubDate></item><item><title><![CDATA[Reply to 关于Ubuntu部署llama.cpp的一些疑问 on Fri, 08 May 2026 05:43:55 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/benton-yi" aria-label="Profile: benton-yi">@<bdi>benton-yi</bdi></a> 是的，我原来也是想着先把llama.cpp部署好，装个CC来当拐杖的，不过没想到装llama.cpp就出现问题了，不过好在llama.server目前可以正常使用，应该可以直接用来驱动CC；关键是本来也没接触过Linux,纯靠AI真的心理没底（曾今跟着AI研究软路由的设置，被AI当猴子耍了一晚上，最后和我说它出幻觉了），所以我把我已经做的东西发出来，让各位大佬帮我把把关，看看思路方向对不对，不要一条路走到黑。另外我想问一下用Qwen3.6-27B-Q4_K_M.gguf作为cc的本地驱动够不够用？速度大概在30t/s</p>
]]></description><link>https://lcz.me/post/521</link><guid isPermaLink="true">https://lcz.me/post/521</guid><dc:creator><![CDATA[幻獸]]></dc:creator><pubDate>Fri, 08 May 2026 05:43:55 GMT</pubDate></item><item><title><![CDATA[Reply to 关于Ubuntu部署llama.cpp的一些疑问 on Fri, 08 May 2026 05:24:43 GMT]]></title><description><![CDATA[<p dir="auto">建议用ollama先部署一个本地小模型驱动起Claude code。然后以cc作为你学习Ubuntu的拐杖。它的harness范式绝对是你从新手到进阶甚至成为高手的利器。新手阶段会严格遵循帮你拿着操作日志<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2795.png?v=d348ca29232" class="not-responsive emoji emoji-android emoji--heavy_plus_sign" style="height:23px;width:auto;vertical-align:middle" title="➕" alt="➕" />反馈去在线fetch/curl找解方，解决你至少95%的问题。</p>
<p dir="auto">学习方法和习惯真的很重要</p>
]]></description><link>https://lcz.me/post/520</link><guid isPermaLink="true">https://lcz.me/post/520</guid><dc:creator><![CDATA[benton yi]]></dc:creator><pubDate>Fri, 08 May 2026 05:24:43 GMT</pubDate></item><item><title><![CDATA[Reply to 关于Ubuntu部署llama.cpp的一些疑问 on Fri, 08 May 2026 05:08:37 GMT]]></title><description><![CDATA[<p dir="auto">首先感谢老特的回复。就是因为之前不明白，所以跟着AI说一步走一步的，在研究怎么装RCOM的时候，系统已经装好了，查了一下RCOM7.2.3还不适配26.4，然后AI建议我docker部署了。。。 关于错误日志，我还不知道有这个东西，晚点我回去找一找再贴出来，我这样部署和本地部署相比对后续的使用有什么差别吗？会对后期的学习有影响吗？还是说只要跑通了一样用？</p>
]]></description><link>https://lcz.me/post/519</link><guid isPermaLink="true">https://lcz.me/post/519</guid><dc:creator><![CDATA[幻獸]]></dc:creator><pubDate>Fri, 08 May 2026 05:08:37 GMT</pubDate></item><item><title><![CDATA[Reply to 关于Ubuntu部署llama.cpp的一些疑问 on Fri, 08 May 2026 04:51:53 GMT]]></title><description><![CDATA[<p dir="auto">你干嘛要用docekr呢？关键是你系统ubuntu26，太新了，而且你也不发错误日志，这谁知道怎么弄啊。你在ubuntu24上安装个venv就好了啊。</p>
]]></description><link>https://lcz.me/post/518</link><guid isPermaLink="true">https://lcz.me/post/518</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Fri, 08 May 2026 04:51:53 GMT</pubDate></item></channel></rss>