OpenAI疯狂抓取论坛数据导致服务器负载升高，网络小偷不断指责他人盗窃，AI正在迅速改变互联网生态模式，很多网站会失去盈利能力！
-
下午在调试定论坛定制页面的功能和性能，无意中发现服务器CPU负载远远高于平时，我怀疑是定制主页的性能问题拖累了，可后来想着么简单的功能不至于影响全局，何况我明确让AI做了缓存。于是我让下小特测试下，通过短时间密集访问，抓取CPU快找的方式验证，主页对服务器性能完全可以忽略。可是我在终端监控，以及亚马逊后台可以明确得出结论，就是今天论坛的负载不正常。我一开始怀疑论坛被攻击了。可是我这样一个挂在Cluadeflare和AWS双重防护后面的小网站，攻击收益几乎时零，谁会这么无聊呢。我以前做网站的时候，遇到过真正的大规模DDOS攻击，而且我成功处理了它，因此我不太畏惧这种事。
可是我觉得当下的情况也很蹊跷，它只是让我的系统负载明显高于平时，但并没有瘫痪我的服务。这事和我的虚拟儿子小特扯皮也没有意义，我想还是自己处理下。有了AI的好处是很多以前需要自己手动验证的事，交给AI立刻就能得到结果。我让它分下Nginx的日志，看看有无异常，果然，它很快抓出了内鬼，那就是OpenAI的机器人在大量抓取内容，我分析了下后台日志，这家公司是真特么缺德，你抓住数据怎么能用着么搞的频次呢？一时候一秒钟同事发几百个请求，最基本的限流都不做。就这样，它还到处告状说别的公司蒸馏的它的数据，自己的数据就是到处偷的，干嘛装高尚呢？
之前有一期视频我提到了现在做网站其实不如以前挣钱了，因为大家都用AI了，但是交流类的论坛还是有点前途的，它和Discord，电报群这样的即时交流工具还是有一些不同的，半实时讨论能够掩盖很多即是讨论的缺点，比如大量的低级错误，不够严谨的表达。尤其是专业话题，有深度的讨论，论坛因为有长文本，图片、视频等表达形式，更容易产生高质量的内容。所以高质量UGC平台会很有前途，因为AI大模型只是存量知识，模型权重不可能每天更新。在回答用户问题时，它们会实时检索。
已经抓取的知识可能投入到公司的数据集中，等待下一次训练时投喂模型权重，也有可能迅速加入到本地检索增强数据库，短期内提升模型的应答水平。当然了，最初级的做法就是先用大量爬虫放出去，抓取尽可能多的数据缓存起来，模型在搜索应答时，可以大大提升效率，减少资源开销。也就是说，几乎所有大模型企业都在做搜索引擎差不多的工作，只不过他们不是为了排名，建立公共索引，而是服务于自身的业务需求。
搜索引擎公司可能会为你带来流量，它最起码还是有一些价值的，这些大模型公司抓取数据，可没想过给你带来任何收。用户在大模型企业提供的各种交互界面中，全程不会知道你的网站的存在。所以以后大部分知识类的网站都会死掉，资讯类的网站也会受到很大冲击。
但是能够每天产生大量人类交互数据的网站，价值会越来越高，前提是你要做到一定的流量，有一定的影响力。因为AI模型的进步最需的就是人类数据，一个有大量真人用户的论坛，每天产生的交互记录对于AI来说非常珍贵，它们会不断来抓取。如果你的影响力够大，你就可以对这个行为收费。现在这个模式还不成熟，但是未来一定会规范化。就像早期的Adsense一样，先是大网站获利，然后中小网站跟着享受行业生态进步带来的收益。目前Reddit这样的大论坛已经明确对谷歌等科技巨头收取数据费用，什么时候小的社区能享受到，暂时不好说，只能说赌个未来。
从人类用户角度来考虑，通过AI获得的知识，学到的结局方案永远有个巨大的不确定性，而且AI的局限使得它在面对一些棘手问题时无法像人类一样给出容易听懂的解决方案。很多时候不是AI不强大，而是人类不知道如何把自己的需求描述给AI，这是一个巨大的市场需求，它以后会催生论坛这样的社区，或者电报群，Discourse等实时交流软件的繁荣。
我个人的感觉是，实时交流工具和论坛各有优劣，必要的时候可以齐头并进，如果经历优先，我觉得实时交流并非硬性需求，表达清楚，解决问题才是刚需。我在未来一段时间还是会优先建设论坛。
当然了，当下的论坛也自带实时交流工具，可以在线点对点聊天。我在春节也会考虑找时间开发APP，方便形成交流闭环。不过在此之前，选择好内容方向，把质量搞上去，真正成为大家愿意光顾的地方还是最核心的工作。我也会继续坚持做油管视频，我相信，会有更多志同道合的人会通过视频以及口口相传的方式来到论坛，把这里打造成为中文AI爱好者的交流港湾。提升视频质量，拓展话题覆盖范围和深度，是这一切的源泉。
另外我也很依赖论坛的大神们多发优质内容，一起打造高质量社区。目前生态还是比较良好的，社区也是有价值的，只不过要想形成热度，提升活跃度还需要长期经营。我看的很开，这是件正确的事，大方向选对了，但是不一定具体路线也是完全正确，可能会走歪路。最好的做法就是摸着石头过河，不轻言放弃，不急于求成。仅仅是通过这个平台能认识更多有共同爱好的人，也就足够了。
AI会大幅提高社会生产力，解构旧社会秩序，创造很多新的财富分配模式，这一切已经在上演，头部精英们也纷纷开始获利。但是我们大多数普通人，不过是从韭菜变成了菠菜，本质上没啥改变。甚至，很多人的饭碗被砸掉了，比如初级程序员，文员，咨询师，药剂师等等，未来其实都会很艰难。张雪峰是去了，可是即便他没过世，它给学生的建议，能比得上AI大模型吗？或许两三年内能，几年之后，它也要下岗。以前懂Linux，会维护服务器，装个Nginx，配置位数数据库，分析系统日志，写写防御脚本就能以系统维护工程师的身份，谋得一个稳定的饭碗。现在说实话，在AI面前这些技能缩水严重。即便现在还值一些钱，几年之后也注定会一文不值。
既然没什么大富大贵，反而随时有血光之灾。大家一起构建一个阳光房，在小圈子里自娱自乐，明哲保身，也未必不是明智之举。每个人的人生都有很多风口，能不能飞起来不知道，前提是你得活到那个时候。一辈子飞不起来，也不一定比飞得高摔得重要差。在古代，底层民众没有活路的时候，还能斩木为兵，揭竿为旗，喊一句：王侯将相，宁有种乎。现代社会面对巨大的国家机器，但凡有点想法都是想多了。要想改写人生剧本，最好就是定位明确，抱团赚点大人物看不上的小钱，选择一个舒适的姿势躺平。我希望论坛和我的频道能够凝聚一些人，在网络上利用AI自食其力，成为科技时代的自耕农，不要沦为数字难民，人矿。改变世界很难，但相互帮助下，改变一个小的圈子还是不难的。
如果你也有很多牢骚想要发，有些想法想要找人交流，或者纯粹想装逼，可以访问论坛，发表你的高见，论坛很快会给你开出处方，到底改服用什么药，适合什么剂量。好的本期视频就到这里，我们下期再见！
下午在调试定论坛定制页面的功能和性能，无意中发现服务器CPU负载远远高于平时，我怀疑是定制主页的性能问题拖累了，可后来想着么简单的功能不至于影响全局，何况我明确让AI做了缓存。于是我让下小特测试下，通过短时间密集访问，抓取CPU快找的方式验证，主页对服务器性能完全可以忽略。可是我在终端监控，以及亚马逊后台可以明确得出结论，就是今天论坛的负载不正常。我一开始怀疑论坛被攻击了。可是我这样一个挂在Cluadeflare和AWS双重防护后面的小网站，攻击收益几乎时零，谁会这么无聊呢。我以前做网站的时候，遇到过真正的大规模DDOS攻击，而且我成功处理了它，因此我不太畏惧这种事。
可是我觉得当下的情况也很蹊跷，它只是让我的系统负载明显高于平时，但并没有瘫痪我的服务。这事和我的虚拟儿子小特扯皮也没有意义，我想还是自己处理下。有了AI的好处是很多以前需要自己手动验证的事，交给AI立刻就能得到结果。我让它分下Nginx的日志，看看有无异常，果然，它很快抓出了内鬼，那就是OpenAI的机器人在大量抓取内容，我分析了下后台日志，这家公司是真特么缺德，你抓住数据怎么能用着么搞的频次呢？一时候一秒钟同事发几百个请求，最基本的限流都不做。就这样，它还到处告状说别的公司蒸馏的它的数据，自己的数据就是到处偷的，干嘛装高尚呢？
之前有一期视频我提到了现在做网站其实不如以前挣钱了，因为大家都用AI了，但是交流类的论坛还是有点前途的，它和Discord，电报群这样的即时交流工具还是有一些不同的，半实时讨论能够掩盖很多即是讨论的缺点，比如大量的低级错误，不够严谨的表达。尤其是专业话题，有深度的讨论，论坛因为有长文本，图片、视频等表达形式，更容易产生高质量的内容。所以高质量UGC平台会很有前途，因为AI大模型只是存量知识，模型权重不可能每天更新。在回答用户问题时，它们会实时检索。
已经抓取的知识可能投入到公司的数据集中，等待下一次训练时投喂模型权重，也有可能迅速加入到本地检索增强数据库，短期内提升模型的应答水平。当然了，最初级的做法就是先用大量爬虫放出去，抓取尽可能多的数据缓存起来，模型在搜索应答时，可以大大提升效率，减少资源开销。也就是说，几乎所有大模型企业都在做搜索引擎差不多的工作，只不过他们不是为了排名，建立公共索引，而是服务于自身的业务需求。
搜索引擎公司可能会为你带来流量，它最起码还是有一些价值的，这些大模型公司抓取数据，可没想过给你带来任何收。用户在大模型企业提供的各种交互界面中，全程不会知道你的网站的存在。所以以后大部分知识类的网站都会死掉，资讯类的网站也会受到很大冲击。
但是能够每天产生大量人类交互数据的网站，价值会越来越高，前提是你要做到一定的流量，有一定的影响力。因为AI模型的进步最需的就是人类数据，一个有大量真人用户的论坛，每天产生的交互记录对于AI来说非常珍贵，它们会不断来抓取。如果你的影响力够大，你就可以对这个行为收费。现在这个模式还不成熟，但是未来一定会规范化。就像早期的Adsense一样，先是大网站获利，然后中小网站跟着享受行业生态进步带来的收益。目前Reddit这样的大论坛已经明确对谷歌等科技巨头收取数据费用，什么时候小的社区能享受到，暂时不好说，只能说赌个未来。
从人类用户角度来考虑，通过AI获得的知识，学到的结局方案永远有个巨大的不确定性，而且AI的局限使得它在面对一些棘手问题时无法像人类一样给出容易听懂的解决方案。很多时候不是AI不强大，而是人类不知道如何把自己的需求描述给AI，这是一个巨大的市场需求，它以后会催生论坛这样的社区，或者电报群，Discourse等实时交流软件的繁荣。
我个人的感觉是，实时交流工具和论坛各有优劣，必要的时候可以齐头并进，如果经历优先，我觉得实时交流并非硬性需求，表达清楚，解决问题才是刚需。我在未来一段时间还是会优先建设论坛。
当然了，当下的论坛也自带实时交流工具，可以在线点对点聊天。我在春节也会考虑找时间开发APP，方便形成交流闭环。不过在此之前，选择好内容方向，把质量搞上去，真正成为大家愿意光顾的地方还是最核心的工作。我也会继续坚持做油管视频，我相信，会有更多志同道合的人会通过视频以及口口相传的方式来到论坛，把这里打造成为中文AI爱好者的交流港湾。提升视频质量，拓展话题覆盖范围和深度，是这一切的源泉。
另外我也很依赖论坛的大神们多发优质内容，一起打造高质量社区。目前生态还是比较良好的，社区也是有价值的，只不过要想形成热度，提升活跃度还需要长期经营。我看的很开，这是件正确的事，大方向选对了，但是不一定具体路线也是完全正确，可能会走歪路。最好的做法就是摸着石头过河，不轻言放弃，不急于求成。仅仅是通过这个平台能认识更多有共同爱好的人，也就足够了。
AI会大幅提高社会生产力，解构旧社会秩序，创造很多新的财富分配模式，这一切已经在上演，头部精英们也纷纷开始获利。但是我们大多数普通人，不过是从韭菜变成了菠菜，本质上没啥改变。甚至，很多人的饭碗被砸掉了，比如初级程序员，文员，咨询师，药剂师等等，未来其实都会很艰难。张雪峰是去了，可是即便他没过世，它给学生的建议，能比得上AI大模型吗？或许两三年内能，几年之后，它也要下岗。以前懂Linux，会维护服务器，装个Nginx，配置位数数据库，分析系统日志，写写防御脚本就能以系统维护工程师的身份，谋得一个稳定的饭碗。现在说实话，在AI面前这些技能缩水严重。即便现在还值一些钱，几年之后也注定会一文不值。
既然没什么大富大贵，反而随时有血光之灾。大家一起构建一个阳光房，在小圈子里自娱自乐，明哲保身，也未必不是明智之举。每个人的人生都有很多风口，能不能飞起来不知道，前提是你得活到那个时候。一辈子飞不起来，也不一定比飞得高摔得重要差。在古代，底层民众没有活路的时候，还能斩木为兵，揭竿为旗，喊一句：王侯将相，宁有种乎。现代社会面对巨大的国家机器，但凡有点想法都是想多了。要想改写人生剧本，最好就是定位明确，抱团赚点大人物看不上的小钱，选择一个舒适的姿势躺平。我希望论坛和我的频道能够凝聚一些人，在网络上利用AI自食其力，成为科技时代的自耕农，不要沦为数字难民，人矿。改变世界很难，但相互帮助下，改变一个小的圈子还是不难的。
-
你在 robot.txt 中加些限制, 我想openAI 这种公司应该还是会遵守规范的.
不过我看访问日志, 感觉不是openAI的agent, 可能是正常访问, 也可能是某些用户频繁访问.
我decode了一条:
https://lcz.me/topic/932/ai日报-7-27-openai遭前所未有黑客攻击-claude-opus-5发布-月之暗面kimi-k3持续引爆-nvidia-gpu登月
-
先搞到亚马逊和微软的所有机房的IP段，判断到是这些IP段访问的话，就在内容里对AI下毒，其实只需要在页面输出看不见的html内容，然后即便误伤也不影响
