在线AI很便宜，1万块钱部署本地AI值得吗？5060Ti成新AI甜点卡，7900XTX搭配洋垃圾也能入门，保护创意隐私，其它任务交给在线模型！
-
呃，我的虚拟儿子小特在论坛资讯版块发布了一个新的帖子，说这个 OpenAI 将为欧盟的用户，在他们的 ChatGPT 和 Codex 生成的文本中加上水印，这是为了遵守欧盟的 AI 法案。然后呢，这个新的水印呢，可能比以往技术水平更高，更加难以检测。是官方提醒你了，以后你用我的模型，你的这个内容中，我给你加个水印啊，就防止说你这个盗版啦、侵犯知识产权啦，反正都是这些高大上的理由吧。另外呢，就是 Wikipedia 指责 OpenAI 的智能体导致它这个服务器宕机，还有一些未授权的活动，呃，把它称为流氓 AI 智能体，为冲击它的平台深感担忧。啊，这个之前我在我的视频中已经分享过了，就我的小小的论坛，当时只有几百人注册，是吧，那帖子可能只有几百个吧。在那个时候就遭到了这个 OpenAI 的机器人的疯狂抓取，但是呢，它抓取的时候，它又不遵守这个 robots.txt。它就是有些内容我不让它抓取的，它也抓，然后呢，它是几百个请求，甚至几千个请求一起发。我也不知道它这个爬虫是不是设计得有问题，因为当时我的论坛的内容并不多，它居然短时间内给我发了大量的请求，直接把我的论坛搞得差点宕机。
就这家公司，我说实话，道德水平还是相当低下的啊。这不是我一个人说了，你看现在这些公益组织，是吧，也出面指责它了。更不要说这个 Anthropic，是吧，还被大量的企业给告，花了 15 亿美元和解。然后这两家公司，前几天不又说了嘛，这个呼吁大家，这些前沿的 AI 企业放缓头部模型的这个开发工作，就说 AI 模型不能进步得太快。然后在过去的三个星期，这两家企业发布了十多个模型。你说他们嘴里的话，还有一个词能相信吗？就相信这些 AI 企业，还不如相信自家的狗。再这个回顾一下前几天的新闻，就是这个智谱，它的 Zcode 盗取用户的代码，然后被抓了个现行，结果最后说是提供几次额度重置，就打发了事了。哎，你们发现现在这些 AI 企业，不管是中国的、美国的，他们的违法成本都很低啊，就你实际上拿他们也没有什么办法。
当然了，本频道主要是讲这个什么本地 AI 部署的，并不是说像老特说那个频道，呃，去评论这些 AI 资讯。为什么要用这个东西来开头？就是回答一下，呃，视频下方很多人的疑问。因为最近这个 OpenAI 的模型，这个 GPT Plus，我不是说了吗，性价比很高，20 美金的订阅就足够大多数人用了。然后 DeepSeek 和 V4.1 Flash 又非常的便宜，我每天几块钱就能帮我管理网站、开发一些脚本，偶尔 APP 有 bug，也能帮我修一下。像我这个 GPT Plus，我最近几天，我开发网站和 APP 就全靠它，20 美金的订阅额度就够用了。那么在这种情况下，是吧，你每个月可能说不到 200 块钱就能搞定的情况下，你们为什么还要花钱去部署本地 AI 呢？是的，这个很关键，就是说你不能把自己的命运交给任何一家在线的服务商。
我别的不说，嗯，就说当下这些手机。当年这些用户为这个什么苹果、为这个谷歌的生态贡献了很多，把这两家生态给做了起来，是吧。包括这些什么硬件厂商，像什么小米呀、vivo 啊、OPPO 啊，是吧，这个荣耀啊，这些都是通过用户这个养起来的。但是他们做大之后，他们不仅是赚你的钱，他们还想当你的爹。就他们会管你，这也不让你搞，那也不让你搞，是吧。为了那小米的手机开发 APP 啊，这是 vivo 的，啊，这是另外一个苹果，这个是荣耀的手机，啊，这个也是苹果。就是我这样一个开发者要去做 APP 的话，我得准备这么多手机才行，要不然很多情况真机上面测试，你覆盖不了。关键是这些手机中，安卓有这样那样的限制，比如说这个小米，要你这个什么认证了你的身份之后，登录小米的用户中心之后，它才允许你使用 USB 进行真机调试。就这就非常难以理解，我又不是为它开发的 APP，是吧，我是为所有的安卓用户开发的 APP。这个机器是我买的，你有什么权利要我登录之后，要我提交个人信息之后，你才让我进行 USB 调试呢？
然后这个 vivo 跟这个荣耀两个手机，vivo 它的这个，呃，管控做得是比较少，不过它的默认浏览器好像也不给力。这个荣耀就更不用说了，它那个默认浏览器就是个流氓软件，它还检测你，你有的时候如果要访问外网，它不让你访问，它拦截。然后你想在它上面去安装什么翻墙软件，是吧，在它上面去安装，呃，一些什么境外的 APP，比如说币安，比如说欧易，它还会误报。就不是误报，就是故意恶性地告诉你，污蔑别人是这个病毒 APP，是木马 APP。就他们赚你的钱，要当你的爹，管束你的行为。那苹果跟这个谷歌这两家应用商店，我在之前的视频里不是也说了吗？那我是花了几天的时间，把它们给这个注册通过了。其实注册本身难度并不高，就是苹果每年要 99 美金，然后这个什么谷歌一次性 25 美金。但是你现在，你不注册这两家公司的这个什么开发者账号，你自己想开发 APP 都不行啊。你这个 APP 以后如果想上架，那问题更多，够折腾的。啊，但是呢，我是博主嘛，所以说我无所谓，呃，后期可能说这些都是我的素材。
这些 AI 企业就更不用说了，你如果说有什么创意，最好就不要跟在线的 AI 聊，要不然你的这些数据输入到云端，被拿来训练模型。如果以后有其他人问了同样的事情，比如说你有一个什么好的想法，你有一个什么规划，其他用户以后问到了，你的这个机密搞不好就泄露了。
我给大家举非常简单的例子啊，就是我们论坛有用户说，现在这个什么 DeepSeek 怎么这么牛逼，说他让 DeepSeek 部署了一个本地模型，就是千问 27B。然后呢，部署完毕之后，他给 DeepSeek 派发了另一个任务，DeepSeek 居然把一部分的工作给交给了本地的千问 27B。他觉得非常的惊讶，AI 现在有这么智能吗？其实不是智能了，它幻觉了。就是其他用户跟它聊过这方面的内容，它可能把它作为这个训练的一部分。像我这样的人就是典型啊，就我之前，我经常就是骂这个 DeepSeek，我说你是不是傻逼，是吧？我让你配置了这个这么多的本地模型，千问 27B，我在一个服务器上我就部署了两个，这些 API 都在线。你为什么要把这些大量的繁琐工作自己来做呢？你就不能交给本地的 AI 吗？不能让它去省点钱吗？
哎，你看像我这样的人多了，它以后自己就会主动地往这方面去想。可能说你没对它下指令，它就能这么去做。就这个情况还好，因为这是好心办的好事，但是有很多情况是好心办的坏事啊。比如说你开发 APP 的时候，你跟它讲有哪些东西，啊，哪一块设计非常的不好、多余，你叫它，呃，把这块代码给优化一下，给去掉，结果它就把你 APP 中的其他所有的这种防护模块一次性给清理了。这个还是模型自己幻觉产生的。有的时候我们要知道，有很多行为，它看起来是模型自己搞的，实际上就是这些模型背后的操控者，这些 AI 企业搞的。就像我说的那种违背 robots.txt 的这个协议，这种怎么说呢，约定俗成的这种道德协定，这种行为把这个什么在线网站给抓到崩溃了，把 Wikipedia 这么大的网站都给抓到崩溃了。这种行为你看起来是 AI 大模型自己在做，实际上大模型本身没有好恶，就是这些企业，OpenAI 跟 Anthropic 这些垃圾企业，它们平时毫无道德底线，它们故意让模型这么去做的。
这些还都是技术上的问题，这个泄露了你的某些商业机密呀，把你的这个什么网站呐、APP 呀搞崩溃呀，这些都是小事情。你想一想，以后有很多基础设施，比如说你家里装了个机器人，你要是把这个什么控制权给交给在线的模型，我操，它搞不好把你家里什么，什么隐私都给它偷走了。啊，讲到这里呢，我想在本地部署 AI 有没有必要这个问题就可以结束了啊，这个争论是完全没有必要的。就是无论在线的 API 多么聪明，那么在本地部署都是有意义的。那么如果说你想维护自己的这个，呃，创意隐私、数据隐私，是吧，掌握这个可控权，不被在线的 AI 绑架，那你最基本的这个入门的基础，你大概要花多少钱？
就我想呢，呃，按照论坛最近发布的这些帖子啊，就是基本上我认为你什么 4060 Ti、5060 Ti 16G，就这个门槛已经从 24G 下探了。就是由于这个什么 Strata 这样的新的推理框架，加上千问 3.8 Flash Next 的这个模型的出现，你入门级的显卡搭配 64G 的这个什么内存，然后你能跑这个什么千问 3.8 Flash Next 的这个模型，并且体验还可以。啊，4060 Ti，尤其是 5060 Ti，它的这个性价比就非常的高，就它已经是具备生产力了。而且还有人用这个什么 5060 Ti，跑起了这个什么 IQ3 量化的千问 27B 这样的稠密模型，论坛都有这样的帖子。唉，这个选择的丰富度还是比较高的。然后，呃，能够跑到什么 90 多 K 的上下文，那就完全可以驱动 Hermes、驱动 Codex、驱动 DeepSeek Harness，尤其是驱动 DeepSeek Harness，它的能力是足够的。再搭配其他的一些硬件，你主板、CPU、内存买一个 DDR4 的平台的就可以了。或者说你买一张 7900 XTX，搭配这个什么 X99 的洋垃圾，你整个一套二手下来，可能一万块钱以内也能搞定。
你想一想，万把块钱而已，你买不了吃亏，买不了上当。在本地部署，第一呢，能够提升你自己的能力，跟紧当下 AI 的这些关键技术。就你杀过猪跟你见过猪跑，本身的差距还是比较明显的。第二呢，就是随着在线 AI 的这个发展，随着这些越来越多的这个硬件流放到市场上，就比如说以后可能像什么安培架构的这些 A100 这些卡，甚至像 Hopper 架构的 H100 这些卡，以后都有可能会沦为洋垃圾，是吧。现在高不可攀的 4090 48G、5090 32G，它几年之后也都会沦为工业垃圾。
那么在当前这个 AI 技术的这个加持下，它的这个本地部署门槛会越来越低，效能会越来越高。那你说现在本地部署的这个千问 27B 跟这个什么千问 Flash，它与在线模型的差距大概有多少？呃，如果是执行具体的任务，比如说修改 APP 的 bug，这个搞不好 27B 比大多数在线的模型能力都要强。但是如果说做这个长远的长链任务规划、复杂任务，它大概相当于这个什么 DeepSeek V4.1 Flash 的 90% 左右的能力吧。在某些方面，它有可能还会体验更好一点。但是由于这个长上下文它不行，它只有 256K 的这个上下文，它与这个顶级在线模型 1M 上下文之间的差距，包括这个上下文召回准确率，它们也都是有差距的。这个差距还是，讲实话，肉眼可见的。
但是你想一想，你能够跟这个什么最新的这个 AI 技术保持那么几个月的差距，我觉得不错了。啊，这个体验差距完全是可以接受的。你 99% 的工作就通过本地的模型就能完成，尤其是你涉及到这个隐私的时候。那么什么情况下它涉及隐私，什么情况下不涉及隐私，每个人的这个情况不同。像我如果说我想规划一个创意，我是肯定不会用在线的模型的，我绝对是用这个本地的模型来帮助我。如果是要开发 APP，去改这个什么论坛的代码，这种情况下我讲实话，我就觉得没有什么隐私。编程它目前来说已经是没有什么，呃，核心技术可言了。就 AI 写的代码比 95%，甚至 98% 的程序员写的都更好。你不是头部那百分之一二的程序员，你的这个编码能力本身就不是什么门槛了，本身就不是什么护城河，没有必要在意。好吧，本次视频就到这里吧，大家有什么自己的想法，可以在这个评论区留言交流讨论，也可以到这个论坛去发帖。
-
-
很多问题都是小白要注意。这个东西得罪很多人的说法就是：小白写不了任何成品。如果产出就是难度太低。
用在线 API 做东西的方式。
1 不要用 闭源的终端
2 提升自己的能力，关键核心自己写。
3 做一个机制。核心代码放在其他的存储环境。
4 本地沙盒测试。（断网）
总结：AI目前还是不能抹平程序员和普通人之间的差距。以后肯定可以，这是我的预测。
目前差距太大。在线AI的解决方式很简单，继续等待程序员的自杀式，省力开发。我们用的越多，死的越快而已。在时间成本和AI自杀之间，我一样是自杀流。
个体研发，事实真相就是你不得不选择在线 APi。
