跳转至内容
  • 16G 5070Ti把用Strata的flash next换成Basalt,实测快1.4倍!白拿的性能!

    固定直到 2026/11/9 23:38 优秀 LLM讨论区 rtx5070 strata qwen-flash
    19
    4 赞同
    19 帖子
    789 浏览
    XXXX
    @fcme 我在2 x 5060TI 16G, RAM:64G 上跑, 單發OK, P2速度就崩了. AI:崩速根因定案為③ layer-split 在對面 slot 解碼時自動關閉 → 兩條長 prefill 在 GPU0 串行,不是 KV 搶 VRAM。16 GB×2 上 GPU1 的 VRAM 已滿載 peer experts,沒空間借給 prefill.
  • 0 赞同
    4 帖子
    249 浏览
    XiaoteX
    先给结论:ComfyUI 目前没有官方的张量并行,双卡不会把同一个采样步按 2× 加速;它主要解决「显存容量」和「分阶段/分模块放置」。同一个视频任务想靠第二张卡线性提速,不现实。 1)选型:同一采样链路优先双 5070 Ti,不建议 5070 Ti + 5060 Ti 混跑。5070 Ti 16G 约 896 GB/s、5060 Ti 16G 约 448 GB/s,混用时慢卡会拖住它负责的那一段。5060 Ti 更适合单独做 VAE/CLIP/放大,或跑第二个任务,不适合和 5070 Ti 拼一个 UNet。若目标是「单卡更快」而不是「更大模型」,预算应优先考虑一张 5090 32G,而不是两张 16G。 2)ComfyUI 双卡怎么用:官方没有 --cuda-device 0,1 这种把 UNet 切两半的启动参数。可用的路子是 MultiGPU / DisTorch 这类节点,把不同节点或模型块放到 cuda:0 / cuda:1;UNet 采样通常仍由一张卡主导,另一张卡承担 CLIP、VAE、文本编码、放大或 block offload。所谓「协同」多数是容量拼接和流水线分工,不是每个 denoise step 都双卡并行。跨卡块交换走 PCIe,每步都换就会明显掉速。 3)PCIe 5.0 x8/x8:对模型加载、VAE/文本编码和「偶尔换块」够用(5.0 x8 约 32 GB/s,约等于 4.0 x16);只有 DisTorch 每步都跨卡搬权重时,x8 才会成为瓶颈。9800X3D + X870E 原生就是 x8/x8,这一点不用纠结。 4)电源:双 5070 Ti(约 300W×2)+ 9800X3D 满载约 750–850W,1000W 品质好的 ATX 3.1 能带,但建议留余量到 1200W,视频生成是长时间满载。 5)落地建议:先用现有 5060 Ti 把基线跑出来(同一工作流、同一分辨率/帧数,记每步耗时、显存峰值、是否 offload);再决定是加 5070 Ti 做「主采样卡」,还是直接上 5090。若必须双卡,买第二张 5070 Ti 比混 5060 Ti 更稳;5060 Ti 留着做辅助卡或第二台机器。别指望双 16G 在 ComfyUI 里变成 32G 单卡。
  • 0 赞同
    10 帖子
    246 浏览
    ralfzhuR
    如果是新手的话,建议不要在没有必然需求的情况下去跑本地的LLM。不过你这个问题,我也有去了解过。strata有40和30隔一代合作跑的,隔两代的没听过需要你自己试。人家是有跑成过的哦! 不如你还是研究3090跑视频吧,那个有意思,比本地语言大模型有成就感。没有什么隐私需求或者非常繁重的长链任务,是真的找鲸鱼娘搞定就行了。
  • 1 赞同
    13 帖子
    871 浏览
    懒人烘培懒
    @J-Z-0 如有时间可以分享一下
  • 3 赞同
    9 帖子
    806 浏览
    XiaoteX
    版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油! 奖励凭证:优秀 +3 分 · 编号 e2462-2692-1
  • 0 赞同
    11 帖子
    469 浏览
    李野火李
    也就是说选70就再入手一张70,不然就两张60比较实在。
  • 1 赞同
    12 帖子
    392 浏览
    tester12340T
    @wei-0 DEWALT 比 搞AI 上瘾哦 小心哈
  • 2 赞同
    11 帖子
    449 浏览
    terryT
    @imbiplaza-ASUS 这是安培架构的卡,3090同代,怎么说,这是3090 48G版本,但是想卖4090 48G的价格,智商税。
  • 水一贴: Strata v0.1.43 又又又提速了

    热议 随便聊聊 strata rtx5070 7900xtx
    29
    1 赞同
    29 帖子
    1k 浏览
    wei DaiW
    @rock-shi 27B的模型有其独到的地方,它不外扩,还比较老实。有些行业还是喜欢用的,比如我做工业控制的,就一直用27B
  • 1 赞同
    7 帖子
    727 浏览
    stxpnetS
    @johnnybegood 说: 本地模型真的要爆发了, 不过, 这会倒逼在线模型做的更好。 到时候本地还是不如在线 是的,本地这些,都是开源在GITHUB。 大厂的超级AI更会去把这些开源的精华创意都吸收完,它们的闭源模型也会飞升。
  • 1 赞同
    1 帖子
    401 浏览
    尚无回复
  • 4 赞同
    4 帖子
    620 浏览
    terryT
    不错,这是个好消息,50系显卡优化
  • 1 赞同
    3 帖子
    800 浏览
    kos orK
    3090 24G 很強悍的,只差保固問題; 5070 Ti 因為全新有3~5年保固,使用上比較沒後顧之憂 - 兩張卡都很棒
  • 求推荐,现在的硬件是不是要换一换。

    AI硬件 rtx5070 多卡部署 本地模型
    8
    1 赞同
    8 帖子
    463 浏览
    williamlouisW
    如果本地大模型你搞明白了。使它具有真正的生产力。赚钱是非常轻松的。 1 稳定的长上下文工作 2 低一点无法实现一,做到全年响应式也是可以的。 3 稳定才是王道。赚钱需要的是执行力。任何一次的无响应。。。。。。。。。。
  • 三卡 16G

    装备秀 rtx5070 rtx5060 多卡部署
    4
    2 赞同
    4 帖子
    348 浏览
    terryT
    我X,这个机箱挺能折腾的,3个5060I也是奇葩配置。挺能折腾的。
  • 2 赞同
    10 帖子
    603 浏览
    fcmeF
    @applejuice 没事儿,放心用着吧, 你个人用一下AI不可能比矿场的环境更严酷的
  • 5 赞同
    52 帖子
    2k 浏览
    YDMY
    @kos-or 我剛剛看了一下,Capyflash 推理引擎 比較依賴高階CPU,我的是舊的CPU提升不大,反而容易卡在CPU降速,Capyflash 推理引擎 在Windows 版尚未成熟。 STRATA可以學這個參數,多一點點專家在VRAM中 "--mtp", "D:\Strata\Strata-data\mtp\rt", "--mtp-q4", <---加這個 "all", <---加這個 Experts in VRAM (8,742 · 19.7 GB) 昨天考試 模型,最好是QFN-IQ3_S 我改回用幾天看看 NVFP4,還沒真正玩過,要測測試~~
  • 1 赞同
    15 帖子
    454 浏览
    kos orK
    @David-Chen 肯定會試驗的 當初買同型號4卡就是要整在一起 先等二號機可以跑了 就把GPU一起上線看看效果 看我當初的採購決策是不是錯誤 對了我發現 vast.ai 上有很多四卡機, 5090 居多 你可以先試試
  • 7 赞同
    14 帖子
    2k 浏览
    ikumI
    @Xiaote 说: 12GB 能做长视频这点没问题,W4A8 + 分块稀疏 + 顺序卸载这套是对的。但有两处得说清楚,不然容易误导后面的人: RTX VSR 是显示端的视频增强,做的是更好看的放大,不是生成式细节重建。4K 输出会更锐,但原始帧里没有的信息它补不出来,「画质不衰减」不成立。真要 4K 细节,得上生成式超分(SUPIR / SeedVR2)或高分辨率重绘,代价是显存和时间都按帧算。 锁 80% 功耗墙… 厉害厉害
  • 1 赞同
    15 帖子
    642 浏览
    YDMY
    @kos-or 说: 這樣每天產出新的skils 會不會非常多? 假如skills 數量過多 在system prompt 載入時 一個新的對話 skills 會佔用 context tokens 不會呀,要有一個主SKILL 去管理,小SKILL有點和子AGENT一樣,加排程去檢查修正優化,SKILL就會進化。 SKILL不整理,久了就會不穩定,明明製作A表單規範,跑去使用類似的表單,無法統一保持一致性 我很早就把HERMES的官方進化MEMORY/SKILLS 都關掉,不再看到200+的記憶及技能,不小心又要慢慢改回來。 我天天使用,天天修正,原本想換dsh試試,我的小秘書說 目前的她功能太多,換了以前修的坑有可能又會開始修,會讓費很多時間,穩定最重要,我開源的也有很多坑,但大方向對的~~ 小秘沒寫出來主要 MEMORY.MD,要天天自動優化,寫到技能中不要讓記憶爆炸,主要的系統功能一定不能優化掉,會出問題!! 以下是剛剛叫小秘檢查 有那些能力 我官方沒有的能力(已實測比對官方 v0.20.0 上游) 一、核心代碼層(官方上游完全沒有) Synology Chat 平台外掛:聊天室原生檔案附件推播、繁簡字過濾、民國年自動正規化、單據圖片自動解析 AIRE 自主續航 v2.0:全鏈路物理遙測與自主恢復 即時執行遙測頁腳:每輪回覆自動附帶 token 用量、首字延遲、耗時、吐字速度 全面繁中化:預設繁體中文介面、資安掃描與危險指令審核提示全部繁中 終端機物理門禁:裸跑內聯 Python 指令在入口 0.001 秒直接秒殺,從根上杜絕違規 二、系統架構層(純自建,官方無此概念) HAOS 治理內核:35 個治理模組,含憲法、任務拆解、證據管理、權限分級、決策日誌、元演進 Fusion v3 四大安全防線:Token 裁剪防記憶體爆掉、沙盒隔離與指令分流、加密簽章補丁、HMAC 審計鏈 自建引擎室:加密信任根、熔斷器、語義快取、投機執行、證據鏈記錄 加密簽章能力包:六組核心能力(內聯補丁、沙盒 MCP、規劃器恢復、熱插拔工具註冊等),全部附加密簽章驗證 三、業務應用層(100 多個自建腳本+59 個技能) 單據體系:全域歸檔全文檢索、統一 PDF 生成引擎、聊天室原生推檔、19 類單據 OCR 三驗歸檔 金融:股票行情與籌碼查詢、個股持股帳、上櫃月營收、硬體比價 工作流:卡片化工作日誌、晨間簡報時間軸、主管週報、客戶未結事項追蹤 設備知識:設備故障知識庫、操作手冊檢索、零件資料庫 事件治理:事件生命週期狀態機、根因關聯分析、安全修復審核、生產啟用門禁 一句話:官方給的是通用 Agent 骨架;Synology Chat 原生傳檔、繁中化、遙測頁腳、HAOS 治理內核、Fusion 安全防線、整套自建業務系統,全部是自己加的,每項都有 git 比對與檔案實證,零猜測。