本地部署AI划算吗？GPT Plus订阅/DeepSeek V4.1 Flash 比本地部署更划算，ComfyUI/隐私/扛审查/API稳定性等特殊场景例外！

[Bunsei]

此主題已被删除！

[terry]

@kos-or 16G怎么跑的，帖子贴出来去看下，

[懒人烘培]

我也想看看16G如何部署~

[kos or]

@terry

錘哥想看 那我晚點整理一下基本資訊 ,

目前還在測試QFN (Qwen3.8-Flash-Next)的輸出品質表現
評估是否可以替代雙卡 NInfer-Qwen3.8-27B-NVFP4 Decode 100~140 tok/s (缺點是沒有 KV cache reuse, PP約3500 tok/s)

現在機台上 兩張RTX 5070 Ti 16GB 各開一個 QFN on GPU0 and GPU1 + DSH
目前第一個作業通過了 QFN 的網頁設計有美感 我給過
目前正在進行 GPT-SOL and Astra 所出的極限考題測試, 想看看QFN的能耐 有比Qwen3.8-27B-NVFP4 or Q4_K_M 強嗎？

[terry]

@kos-or 我没5070TI，我只有4060Ti，还两张，两张5070TI得多少钱？

[huaye XU]

@terry 确实可以了...我的5090 laptop笔记本跑这个可以跑满256K上下文，40-50 tok/s，前两天我还在为27B跑满128K上下文可劲折腾，这下好了。 Qwen3.8-Flash-NEXT都能跑了。今天零度发视频了。github上https://github.com/Niko1221/Strata这个项目。

[kos or]

@terry said:

只有4060Ti

4060 Ti 8G 也是能跑，我猜測 RAM的速度和CPU應該會有不少負擔

2026年大概是本地顯卡大模型元年
希望不要停 ～～～讓音樂持續播放

[rori]

我關注的是速度跟質量能否超過27B?
只是能跑, 意義實在不大。

[jlist]

@kos-or said:

9月29日 Qwen3.8-Flash-NEXT 顯卡單卡8, 12, 16GB可以跑 => 買顯卡

這個要N AI Pro 6000，否則都很慢吧。

[huaye XU]

@jlist
[strata] writing a tool call: write: 9731 of max 32000 tokens, 53.9 tok/s, 182 s
[strata] writing a tool call: write: 9795 of max 32000 tokens, 53.9 tok/s, 183 s
[strata] writing a tool call: write: 9851 of max 32000 tokens, 53.9 tok/s, 184 s
[strata] writing a tool call: write: 9915 of max 32000 tokens, 54.0 tok/s, 186 s
[strata] writing a tool call: write: 9977 of max 32000 tokens, 54.0 tok/s, 187 s

可以了，我是5090 24G laptop。感觉不慢。跟我部的27b差不多，但是没有27b雷霆大思考。

[jlist]

@huaye-XU 很快啊，多大內存，多大context size?

[huaye XU]

@jlist 96G内存，256K上下文。