抡锤者

你要是理解transformer的原理就不会觉得这事情好弄了，这事儿超级困难

基于7900XTX搞吧，按你的预算这个很合适了，把内存搞大一点

项目在 https://github.com/ipconfiger/rdmas 必须要有RDMA网卡，如果论坛里的富哥有这么骚气的设备又需要部署几百张显卡的大规模群集要部署KIMI K3的话，愿意帮忙测试的话，感激不尽，我的设备还要等公司走流程遥遥无期，所以代码只是通过了单元测试。发出来碰碰运气。各位走过路过的大佬，没工夫帮忙测试的话，点颗星也是好的

先搞到亚马逊和微软的所有机房的IP段，判断到是这些IP段访问的话，就在内容里对AI下毒，其实只需要在页面输出看不见的html内容，然后即便误伤也不影响

看到网上有用80块5090部署KIMI K3的案例，想到群里富哥这么多，想问问有没有富哥对私有部署KIMI K3感兴趣的，我手头正好可能有足够多5090卡的机会，我是说万一如果我运气好搞到了，有没有富哥愿意租来部署KIMI K3？如果类似fireworks的模式，有没有人愿意付钱的？

其实应该更加强烈的情感词汇可以激活更多的专家来解决问题吧，我猜

AI时代之前，谷歌搜索翻墙就行了
MCP时代之后，你不光要翻墙，还要有API-KEY，免费额度完了还要收钱。
所以写了个小东西： https://github.com/ipconfiger/SpiderHub
用docker部署，可以启动无头浏览器去抓一些类似reactjs，vue实现的网页无压力，也可以直接去抓网页版的bing搜索的结果。
刚刚起了个头，还没有实现MCP Server，搜索结果清洗等，有时间了就加上。
如果大家有需求请尽量提

@九龙杨生 开发个聚合平台，考虑到国内搞公网IP不是很方便，就弄个本地客户端从平台拉任务，得到任务再调用本地的资源生图或者视频，按次算钱

RT，不搞大语言模型，就是生图，生视频的，大家没接到单子的时候也能挂出来赚点回血，不知道有没有大佬感兴趣？

现在本地也就跑生图和视频现实点，文本大模型还是富哥们的玩具，真要投个几万十几万来搞，够充API到天荒地老了

在8卡A100的机器上跑起来过，不过内存不足，上下文窗口只剩了100k

千万不要让LLM干这类工作，绝对会漏，错。应该是先要它写一个清理脚本，给出清理规则，运行后不会直接运行而是输出要清理的结果列表，你先人工确认一下问题不大，再用 --exec 或者其他什么要求真正执行的参数执行。
再蠢的AI，不会这么干还会干砸吧？我用qwen3.6-9b 都能稳定的执行这种操作

@566656661 你如果喜欢嫖各种免费api key就会知道 OpenCode和Cline里要配置起来有多麻烦了。

@AGI 你要是喜欢用docker跑一堆很重的东西并且本地机器内存超级大的话，也行，多个聚合并不是很稀奇的想法，主要想要的是粘性路由，而不是round robin搞平均或者加权分发，因为岔开后没有办法很好的命中KV Cache，TTFT也会更大，耗干了再切换比较符合个人用户的需求

https://github.com/ipconfiger/LLM-HUB

如果你习惯在各大 LLM 服务商(硅流、DeepSeek 官方、……)之间白嫖免费额度 —— 注册赠送、试用额度、多账号的免费配额、各类中转 / 聚合站的白嫖 key,手里攒了一堆来自不同服务商、不同账号的 key,你大概率遇到过这些痛点:

每把 key 额度小、一限流就停 —— 免费赠送的额度本来就少,一把 key 跑满或被 429,得手动停下来换下一把,体验稀碎。
额度散落、忘了还有哪把没薅 —— 各家各账号的免费额度东一把西一把,用着用着就忘了还有哪把没榨干,最后白白过期。
来回改配置 —— 换个服务商 / 账号,Agent 的 base_url / api_key 就得跟着改,薅个羊毛比写代码还累。
某家白嫖活动结束或临时挂了直接报错 —— 免费服务本来就抽风,一 5xx 或网络断了,Agent 当场死给你看。
llm-hub 把这些零散的免费额度拼成一个"吃不完"的入口:

一个入口收编所有白嫖 key:各家服务商、各账号的 key 全写进一个配置文件,Agent 只认一个地址 —— 你的"免费额度永动机"。
粘性榨干每一把:代理粘住同一把 key 用,直到它的免费额度被限流 / 耗光(401/402/403/429)才换下一把;榨干的 key 冷却 60 秒(额度刷新窗口)后会自动归队继续薅 —— 把每把 key 的可用额度压满,而不是简单轮询。
额度永不断电的故障转移:某把 key 薅空了 → 自动换这家的下一把 key;某家服务商挂了或白嫖活动结束 → 立刻切到下一家,绝不浪费一个请求。
多后端同模型 = 续命:同一个模型挂在多个服务商上,这家薅完 / 挂了下一家顶上,Agent 无感。
接入新羊毛站近乎零配置:TUI 里按 f 自动从后端拉取模型列表,新注册一家,填完 key 一键导入。

我感觉这类东西都是帮你重新画了一个贴上去，反正你也不知道原装的长啥样