跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 【续更】土区 2999 里拉 Colab 白嫖 748B 后续:我给它搓了个类 EasyColab 的本地三栏桌面台(零冷启 GCS 流量 + 原生 WebUI + Strata 支持)

【续更】土区 2999 里拉 Colab 白嫖 748B 后续:我给它搓了个类 EasyColab 的本地三栏桌面台(零冷启 GCS 流量 + 原生 WebUI + Strata 支持)

已定时 已固定 已锁定 已移动 LLM讨论区
rtxpro6000服务器量化
1 帖子 1 发布者 125 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • A
    A
    abaalei
    王侯将相
    编写于 最后由 编辑
    #1

    上一篇记录发完之后,我拿着那台 Colab G4(96GB RTX PRO 6000 Blackwell)又连着跑了六百多轮长上下文对话,100K 上下文下实测 Prefill 峰值跑到了 1,485 ~ 2,798 tok/s,Decode 稳在 46 ~ 73 tok/s。

    用着倒挺爽,但连续折腾了几天,有两个麻烦绕不过去。

    一个是冷启动的账单心里不踏实。虽然 2,999 里拉开的土区 Gemini 20x Ultra 送够了 Colab 算力,GCP 那边也有赠金兜底,可一想到每次 Colab 24 小时到期重开都要从 GCS 桶拽一百多 GB 权重,出站流量账单看着还是心惊肉跳。我后来干脆给仓库补了一刀:分片 1~4 直接走 Hugging Face 最新的 hf-xet 拉取(实测 305 MiB/s 左右),分片 5~7 自己写了个轻量只读 FUSE3(hf_ro_fuse.c)挂到 /mnt/hf 直接打 HTTP/2 Range。改完之后,G4 开机冷启动的 GCS 出站流量直接归零(0 GB / $0),只在 768 线程超大 Prefill 突发时才借一下 GCS 加速,手头没有 GCP 账号也能用纯 HF 模式拉起。

    另一个痛点更具体:每次重开实例太琐碎了。一到 24 小时强制重启,我就要重新 colab new(还得留神别手滑加了 --high-mem 导致 G4 报 HTTP 400),传包、等隧道起来,然后再去把 Pi / Cursor / Claude Code 里配置的 *.trycloudflare.com 地址挨个改一遍。想看一眼显卡或者挂载状态,还得另开终端敲 colab exec。

    前两天看到开源的 EasyColab 三栏布局用起来很顺手,干脆照着它左控机器、中看控制台、右盯底层日志的思路,直接给 peterhon168/colab-maya-ds4-256g 套了一层本机桌面外壳与 Web 工作台:Maya · Strata Studio。

    clipboard_2026-11-15_16-36.jpeg

    (图注:右上角打开了内置的录屏隐私打码,左边实盘显示当前 G4 与实时 CU 余额,正中间直接内嵌跑着 669 轮对话的原生 Monitor 页面,右边实时滚着挂载状态和诊断输出。)

    这套 UI 没用几百 MB 的 Electron,也不依赖任何第三方 Web 框架,完全围绕平时真正会卡脖子的细节做了几件事:

    1. 左栏:管实例、算 CU 账,还有个救命的「无损纳管」

    • 账号与防呆:能直接切 Google OAuth 账号、实时看剩余计算单元和小时扣费率(图里 G4 稳定 10.05 CU/h)。选 G4 时底层锁死不传 high-mem,彻底绕开 Colab 的 HTTP 400 坑。内置的 12 分钟防休眠保活心跳也做成了直观开关。
    • 不断流接管已运行会话:有时候我命令行已经把模型拉起来、Agent 正跑在半路上,这时候如果点了“重启部署”直接就全没了。所以加了个**「无损纳管已运行会话」**按钮,点下去只用一次只读探测读取远端 GPU、/mnt/hf 与 gcsfuse 挂载情况、本地已有的 keepalive 守护和最新隧道域名,绝不杀远端进程。
    • 双引擎与 5 档模式:默认高亮推荐 Mode B1 · 零冷启 GCS 流量;完全不想碰 GCP 的朋友点下面一档 Mode B1-Pure 纯靠 HF CDN 就能起;用 A100 双盘机器切 Mode A 就行。另外把我自己平时在局域网服务器上跑的 Strata Engine 也接了进来,左下方切一下引擎就能把内网节点(比如 http://192.168.x.x:18181)的 WebUI 和遥测顺带接进同一个工作台里。所有 Token 和密钥 json 统一放进 ~/.config/maya-gcs/(权限 0600),和代码仓库完全拆开。

    2. 中栏:原生 WebUI 直接内嵌 + 再也不用改的固定 /v1 网关

    • 没必要自己重写一套简陋对话页,直接用 Python 标准库在本地起了 127.0.0.1:18766 的透明同源反代。它会把请求头里的 Host / Origin 改写掉,原汁原味通过 serve/server.py 的 _own_page() 校验,再把阻止嵌入的响应头剥干净。打开工作台正中间就是完整能用的 Monitor 面板和实时请求表,点两下也能切去快速探针测试生成速度。
    • 最省心的一个设计:http://127.0.0.1:18766/v1 就是本机固定网关。以后不管 Colab 的 Cloudflare 隧道域名怎么变,工作台保活一扫到新地址就只在代理层热切换。你的 Cursor、Claude Code、OpenAI 客户端或者 Pi 只需要填一次 http://127.0.0.1:18766/v1,后面永远不用再动手改配置(面板顶部还做了个按钮可以一键写入 ~/.pi/agent/models.json)。
    • 顺手做了个**「👁️ 录屏隐私打码」**按钮:打开之后,界面上的账号邮箱、trycloudflare 域名、GCS Bucket 名字乃至 gpu-g4-* 实例内部编号全都会即时变成星号。平时想截图发群里水一帖,终于不用自己拿画图工具涂来涂去了。

    3. 右栏:底层实时日志 + 一键诊断芯片

    右侧用 SSE 把 colab 命令执行、六步部署进度、保活心跳全串成了实时日志流,支持分类筛选和关键词查找。底下放了 5 颗常用只读诊断芯片(GPU 显存、挂载与磁盘、远端日志、进程与隧道、Colab 额度),不用来回切终端窗口,点一下就知道是显存快满了还是隧道断了。

    4. 上手方式(零外部构建依赖)

    后端全部用 Python 3 标准库实现,前端也是原生 HTML + CSS + ES6,没有 npm 黑洞。

    • macOS 原生桌面软件(无需 Xcode):
      git clone https://github.com/peterhon168/colab-maya-ds4-256g.git
      cd colab-maya-ds4-256g
      bash macos_app/build_macos_app.sh
      open MayaStudio.app
      
      脚本会调用系统自带的 swiftc 和 WKWebView 编出一个通用的 MayaStudio.app 桌面窗口,退出软件时默认只关本地后端进程,不会手滑把云端跑着的模型和保活给杀掉。
    • Windows / Linux 或纯浏览器启动:
      python3 -m studio --auto-attach
      # 浏览器访问 http://127.0.0.1:18765
      

    项目已经全部推送到 GitHub(仓库里也自带 audit_secrets.py 用来每次提交前扫一遍有没有误漏私钥与路径),对 Colab 大模型白嫖流或者喜欢简洁三栏工作台的朋友可以直接拉下来玩:

    • GitHub 仓库:https://github.com/peterhon168/colab-maya-ds4-256g

    生命不息,折腾不止
    https://lcz.me/projects/local/h3-multigpu-pipeline

    1 条回复 最后回复
    0

    你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

    厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

    有了你的建议,这篇帖子会更精彩哦 💗

    注册 登录
    回复
    • 在新帖中回复
    登录后回复
    • 从旧到新
    • 从新到旧
    • 最多赞同


    • 登录

    • 登录或注册以进行搜索。
    • 第一个帖子
      最后一个帖子
    0
    • 版块
    • 最新
    • 标签
    • 热门
    • 用户
    • 群组