抡锤者

搞了两天数字人没搞明白。。趁着下载模型的时间，分享下这几天实践的感悟吧。部署完硬件还不到两周。这段时间，我已经靠 AI 把脑子里很多原本只是构思的想法，比较轻松地落地出来了。耗时3天搞了一个网站，纯 0 成本推广，没想发布完当天就爆了，DeepSeek token 只烧了 10 块钱左右，就已经赚到了一些佣金。这就已经初步验证了我的思路是可行的。

最近网站先搁一边一直捣鼓数字人，是为了后面进一步加大引流力度做准备，同时实现如何自动化。如果搞不定自动化其实折腾硬件我认为也没啥意义。搞定了应该可以实现目前3-4倍的收入。。在复制几个基本就能躺平了。虽然已经躺平了10来年。。希望AI时代在让我躺个20年吧。不过也不是像说的这么轻松，我最近都拉不出屎来了。。按目前的进度单这数字人就已经让我很是头痛了。对我这种没有知识背景的人来说，每一步都是一道坎。只能慢慢来吧，所以说通过视频学习到的知识如何去利用就看各自脑子里的idea了。。太在意硬件我觉得没啥鸟用。。就像老特说的能干活就行！哈哈 当然我指的是像我一样的纯小白，别冲动花钱搞硬件却不知道该干嘛就不好了。。如果你是论坛里的大神级别在工作需要或者是有钱的大佬就另说了。

发此贴在我的角度算是给老特的一个支持。。虽然刷不起嘉年华，但实际案例可以去打脸那些说视频内容没有含金量的人 哈哈。

先交代下背景，本人是纯纯的硬件与编程“双料小白”。生平第一次自己组装 PC，在动手之前，我对 CPU、内存、主板的具体作用几乎一无所知，更别提什么是 VRAM 或推理框架了。5月初看完老特视频后在中旬开始搞硬件。我这边二手资源可以，全程除了主板其他都是9新二手 一共花了8200吧。
️ 硬件环境
项目 配置详情 备注/价格
GPU AMD Radeon RX 7900 XTX 、¥4250
CPU主板 X99-QD3 Intel Xeon E5-2666 v3 某宝购买，约 ¥516
内存 DDR3 64GB (16GB x 4) 拼多多购入，总计约 ¥575
存储 Hynix P31 2TB SSD ¥1400
电源 振华 (Super Flower) 1200W ¥900，为未来留余量
系统 Ubuntu 24.04 Server/Desktop 版

光组装机子就一路问gemini 一个个搞。如果像我一样没有组装过的小白问GEMINI时把主板说明书图片扔给gemini之后，让他生图来告诉你。因为用文字我都分不清具体要插哪个孔

接下来 用Usb 问gemini 下载了rufus 来烤ubantu 24.04之后成功安装程序。进入之后就下了个codex 把论坛里现成的大神测试过的连接发给他，让他给我做一模一样的部署。 开始我参考的是https://lcz.me/topic/100/7900xtx-llama.cpp-qwen3.6-27b-turboquant-mtp-测试结果分享 之后我发现Qwen3.6 27B TurboQuant + MTP的效果很慢，效果不怎么理想。按照老特的说法直接用hermes调用deepseek的api 充了20块钱。让他给我下载voxcpm之类的程序。但就在这时我又发现了另一个帖子
https://lcz.me/topic/501/lucebox-dflash-huihui-7900-xtx-上真-无审查-极速推理完全折腾纪实/10#gsc.tab=0 这个无审查模式。实测的结果感觉不错！同样也是让hermes进到论坛之后让它审阅照搬。部署了之后体感上本地qwen速度确实快了3-4倍。
下面内容是hermes告诉我的供大家参考吧，这些值是什么我看了也搞不清。。反正在小白角度上只要运转起来能干活就行。哈哈 从早折腾到这个点！帖子最后感谢老特以及各位大神们的分享让我这种小白也成功部署成功本地ai..后面也跟各位多多学习

部署结果展示 │

│ │
│ ### 硬件环境 │
│ │ │ CPU: Intel(R) Core(TM) i7-9700K / Z390 chipset │ │ GPU: AMD Radeon RX 7900 XTX 24GB (Vulkan) │ │ RAM: 64GB DDR4 │ │ 系统: Ubuntu 24.04 LTS │ │ 存储: NVMe SSD (ai_model 分区 1.1TB) │ │ ROCm: 7.2.4 (Vulkan backend via llama.cpp) │ │ │
│ │
│ ### 模型部署方案 │
│ │
│ #### 尝试方案 A：Lucebox DFlash (C++ server) │
│ | 项目 | 结果 | │
│ |------|------| │
│ | 克隆 + submodule | 成功 | │
│ | HIP 编译 (gfx1100, FA_ALL_QUANTS=ON) | 成功 | │
│ | 产物 | dflash_server (3.5MB), test_dflash (1.4MB) | │
│ | 模型加载 | 14.73 GiB | │
│ | 32K 上下文 | ️ 启动成功，但 Hermes 系统提示词 ~17K tokens → prefill 阶段 OOM | │
│ | 49K 上下文 | 启动阶段即爆显存 (cudaMalloc failed) | │
│ | 结论 | C++ dflash_server 预分配全部 KV cache，24GB VRAM 不足以同时承载 14.7G 模型 + 投机解码 look_ahead buffer |

方案 B：llama.cpp Vulkan 最终定版 │

│ | 项目 | 值 | │
│ |------|-----| │
│ | 引擎 | llama.cpp (Vulkan build) | │
│ | 主模型 | Huihui-Qwen3.6-27B-abliterated.Q4_K_M.gguf (16 GB) | │
│ | 量化 | Q4_K_M | │
│ | 上下文 | 65,536 tokens (稳定) | │
│ | 速度 | ~35 tok/s (实测) | │
│ | 显存占用 | ~20 GB / 24 GB | │
│ | 去审查 | 真无审查 (Huihui abliterated) | │
│ | 端口 | http://127.0.0.1:11435/v1 (OpenAI 兼容) | │
│ │
│ ### 磁盘占用 │
│ │ │ lucebox-hub/ 18 GB (源码+编译+模型) │ │ ├── models/Huihui-Q*.gguf 16 GB (主模型) │ │ ├── models/draft/*.gguf 1 GB (DFlash草稿模型, 留作备用) │ │ ├── build/dflash_server 3.5 MB (已编译, 后续可改用 Python server.py) │ │ └── rest 1 GB (源码+编译中间文件) │ │ │
│ │
│ ### Hermes 接入 │
│ yaml │ │ custom_providers: │ │ - name: local-dflash │ │ base_url: http://127.0.0.1:11435/v1 │ │ model: huihui-qwen3.6-27b │ │ context_length: 65536 │ │ │
│ │
│ ### 经验总结 │
│ 1. DFlash C++ server 在 24GB 卡上很极限 — 模型 14.7G + 草稿 ~0.5G + KV cache + look_ahead buffer，32K 上下文勉强能启动但 prefill 大提示词会 OOM │
│ 2. Python server.py (按需分配 KV cache) 理论上能跑更大上下文，但仓库里没有提供（帖子作者用的是自己写的脚本） │
│ 3. llama.cpp Vulkan 最稳 — 同硬件上下文能开到 131K，虽然速度只有 ~35 tok/s 对比 DFlash 的 ~81 tok/s，但稳定性和兼容性最好 │
│ 4. mradermacher 的 Q4_K_M GGUF 兼容性最好 — 帖子作者也确认了这一点 │
│ 5. 建议有 48GB+ 显存卡的坛友尝试 DFlash Python server，24GB 卡建议用 llama.cpp

我是用机智罗的工作流总算整成功了26秒没崩(7900xtx)。。这次把所有全部删除后重新装上comfyui，结果竟然就可以了。之前同样的工作流就一直给我整死机不知道什么问题。虽然嘴型不是那么满意但总算是能跑起来了。。想试试的人可以下载试试。下面是设置的参数。如果有需要整合包我有百度网盘链接。

节点 | 值 |
|---------------|-------------------------------|
| SageAttention | 关闭 |
| BlockSwap | 52 |
| 分辨率 | 320x576 |
| 帧数 | 81帧 (16fps) |
| 步数 / CFG | 4步 / CFG 1.0 |
| 采样器 | euler / normal |
| 随机种子 | 753 |

@y2k https://pan.baidu.com/s/141Dm9W66XG2ZYOMu3BRN6A 密码lcz8 想下载的来 盘不够用过俩天就删了。

5500的3090一堆没敢买...今天看到保修期到28年11月的7900xtx果断跑100公里4200元到手..生平未组装过PC 哈哈 今天第一步算是迈出去了..以后纯小白视角分享下过程！ 希望成功跑起来！

@terry 千万不要公开。。如果是ai做的内容更要注意。。也奉劝大家不要用Gemini做内容。我用Claude和grok写稿都没问题。但用Gemini策划了一篇稿之后不到第二天就把我频道给炸了粉丝刚过300人的。。因为我让Gemini添加点引人眼球的阴谋论。

之前我一直是用双屏幕的，最近因为在本地部署AI，新配了一台装了7900XTX显卡的主机。我只能把其中一个屏幕分开。

用惯了双屏，突然变成单屏幕真的很不习惯。加上桌上两个鼠标键盘 来回玩都给我搞蒙了。原本都打算去买个KVM切换器了，后来问了下AI，它给我推荐了一个叫 Deskflow 的免费软件。

今天装上试了下，效果非常好，用起来就跟同一台电脑的双屏幕一样顺畅。鼠标可以直接从一个屏幕滑到另一个屏幕，键盘也能跟着过去，连复制粘贴都能跨电脑用。

如果大家也和我一样，因为折腾本地AI或者其他原因搞了双主机，觉得切屏幕很麻烦的，可以去试试这个软件，能省下买KVM的钱。

我就是7900xtx 单卡 一边跑LLM和VOXCPM时没障碍。但只要你要跑comfyui时Hermes就会提示要终止llm或者voxcpm。我现在也考虑在弄一张3090主要comfyui在Linux上跑起来还是不太协调

@terry 他们基本是40分钟。。从今年3月1号开的频道，40个影片 总播放量400万。不过上个月开始他们停更了。。不知道是不是油管给管制掉了。
我操作是用Google studio 生成台词每段动画基本上18分钟的影片出个600组图，在用插件到grok批量导出视频。基本也要耗时2天。。想着本地部署会不会更有生产力。不需要手动操作，15分钟其实也OK。

@abaalei 你行的comfyui我认为最适合的还是动漫类

@abaalei 手动确认用了哈哈 话说这次机智罗V4好丝滑在ubantu上。得去给他充个电了

@kos-or 你问我技术性的问题我回答不了。。硬件和网络配置这些我一窍不通的。我只有wordpress搭建博客和做油管的经验

@kos-or 我是自己架构网站的

@benton-yi 不上班不能说就是幸福，相对都有得与失。。。我跟老特的经历类似大起大落过~之后就是打游戏钓鱼哈哈 没饿死也算是幸福。老哥你的幸福现在刚开始~

感谢管理团队们给的厚爱哈哈

@CS6

花900 在家附近淘了今年1月份出产的振华的1200w 哈哈 以后要双7900xtx应该也够了

@kos-or 我买的是二手7900xtx 但AS到28年11月的