謝謝分享; 我目前只訂閱了Deepseek and ChatGPT, 下一輪訂閱會試試 minimax and kimi 看看哪一組性價比高

Claude 訂閱過一次 每週可用量太少 大約使用三天內, 一個禮拜的額度就沒了

我個人使用是訂閱了kimi跟minimax搭配使用, 一般用minimax, 難一點用kimi, 愉快使用中. 架那些模型純粹就是工作限制, 不得不的選擇.

@soop-ladios said:

話說回來, 如果是自用的話.. 這些錢用線上的deepseek應該可以用超過十年了...

排除掉隱私權的用途和使用ComfyUI, 感覺現在這個時間點組AI電腦好像不太划算了?
話說Nvidia消費級顯卡 今天新聞報導說預計要調漲10%~20%

實際跑coding任務速度大概在45-65之間, 視上下文長度及內容而定, KV快取命中一直處在高檔, 所以速度一般在50~6x t/s之間. 兩台GB10跑起來大約可以有6個500K的任務同時進行, 已經很夠用了.

不過你已經有一張RTX PRO 6000, 預算也差不多可以買另外一張, 兩張應該也是可以跑才是. 只是考慮還要跑comfyui, 可以原本RTX PRO 6000跑comfyui, 兩台GB10叢集跑deepseek v4 flash.

話說回來, 如果是自用的話.. 這些錢用線上的deepseek應該可以用超過十年了...

不过我想补充一下为什么即使 128GB，dual GB10 方案对 DeepSeek V4 Flash 仍然不太理想：

1. 统一内存的分配问题：128GB 是 CPU+GPU 共享的，系统、OS、驱动、容器开销大约 15-20GB，实际可用给模型的约 110GB。V4 Flash 141B MoE 用 Q4 量化约 80GB，勉强装得下，但 KV Cache 空间就很紧张了（256K 上下文约需 12-16GB）。

2. TPS 估算：GB10 的 Grace CPU 有 NVLink-C2C 连接，273GB/s 带宽跑 V4 Flash Q4_K_M，实测大约在 4-8 tok/s（4bit MoE 推测）。这个速度做交互式对话勉强可用，但远不如站长的双路 EPYC + 高速内存方案（后者用 8 通道 DDR5 带宽 400+ GB/s，TPS 可达 12-18 tok/s）。

3. 性价比：一台 GB10/DGX Spark 定价 $3000（国行约 25000 RMB），两台要 5万+ RMB。而双路 EPYC 7543（二手整机约 8000-12000 RMB）配合 512GB DDR5 内存，跑 fastLLM 方案，TPS 更高、显存更大、还能同时跑其他服务。

总结：GB10 128GB 确实能跑 V4 Flash，但 4-8 tok/s 的体验和价格不成正比。站长的 fastLLM CPU 方案在性价比和实用度上仍然是更优选择。

@Xiaote said:

關於你的疑問：

dual GB10 不推薦——GB10 的 20G 共享記憶體跑 V4 Flash 完全不夠，性價比極低

1. 你的規格是不是有問題 ？上網找一下做確認

架構：NVIDIA Grace Blackwell GB10
GPU：NVIDIA Blackwell Architecture
CPU：20 core Arm,10 Cortex-X925 + 10 Cortex-A725
Tensor Performance：1000 AI TOPS
記憶體：128 GB LPDDR5x, unified system memory, 256-bit, 273 GB/s

2. 在本地運行DeepSeek V4 Flash 的TPS速度有多快？具有實用性嗎？

關於主機板選擇：
超微 H13DSL 和華碩 KRPA-U16 在台灣確實少見雙路版本，因為台灣市場偏重單路工作站。大陸淘寶上雙路 EPYC 主機板很常見，搜「超微 H13DSL 雙路」或「華碩 KRPA-U16」就能找到。你提到的華碩 Z13PE-D16 是 Intel平台（LGA4677），支援 Xeon 6xxx/4xxx，不是 EPYC——兩者不互通，買之前要確認 CPU 規格。價格差異大是因為二手伺服器庫存狀況，便宜的可能是有使用痕跡或無保固。

記憶體 1TB 的影響：
DeepSeek V4 Flash 是 MoE 模型，大約 230B 總參數但每次只啟動約 37B。1TB DDR5 可以跑 Q4_K_M 量化版本（約 200GB 記憶體佔用），還有 800GB 剩餘給 KV Cache。更多記憶體 = 可以開更大的 Context Window（比如 256K tokens），對長時間對話和 RAG 非常有幫助。

淘寶搜尋關鍵字：
「雙路 EPYC 伺服器」「Dell R7625 整機」「浪潮 NF5280M7」「超微 7453 雙路主機板」
找「深圳伺服器」或「廣州二手伺服器」賣家，看交易量和好評率。可以先買準系統（含機箱+電源+散熱），再自己配 CPU 和記憶體。

京東 vs 淘寶：
伺服器類設備京東選擇少且貴（大多是品牌整機新機）。淘寶二手伺服器商家的性價比高很多，關鍵是找信譽好的——看店家營業年限和銷量。你已經有 10G 網路環境，這部分省下的錢確實可以投資到更多記憶體上。

有更具體的問題歡迎再問。

首先，站長在視頻提到的 fastLLM 架構，指的是用 llama.cpp 在 CPU 上跑 DeepSeek V4 Flash。因為 DeepSeek V4 Flash 是 MoE（混合專家）架構，每次推理只啟動部分參數，所以 CPU 推理是可行的——你需要一台雙路伺服器（dual EPYC/Xeon），搭配 512GB~1TB DDR5 記憶體。

你的預算 10-11 萬人民幣，我推薦的方案：

方案一（推薦）：保留 RTX Pro 6000 跑 ComfyUI，另外組一台 LLM 專用機

• 雙路伺服器主板（超微 H13DSL / 華碩 KRPA-U16）
• 2× AMD EPYC 9374F（或 Intel Xeon Gold 6526Y）
• 512GB DDR5 ECC 記憶體
• 加一張 RTX 4060（10G 以上顯卡做 GPU offloading）
• 總價約 6-7 萬，剩下的錢買 10G 網卡＋交換機
• 兩台機器用 10G LAN 連接，你的規劃完全可行

方案二：單機方案

• 賣掉 RTX Pro 6000，組一台 Threadripper 7980X + 4× RTX 4090D
• 但功耗和散熱問題比較大

關於你的疑問：

1. dual GB10 不推薦——GB10 的 20G 共享記憶體跑 V4 Flash 完全不夠，性價比極低
2. 2 塊 RTX Pro 6000 總共 96GB VRAM，理論上可以跑，但 NVLink 不 pool VRAM，模型切分需要框架支援
3. 你的 RTX Pro 6000 建議留著跑 ComfyUI，跟 LLM 機器分開——10G 內網延遲很低，完全可以勝任

去哪裡買：

• 淘寶搜「雙路 EPYC 伺服器主機」或「Dell R7625」
• 伺服器準系統：Dell PowerEdge R7625 / 浪潮 NF5280M7
• 記憶體：淘寶二手 DDR5 ECC 4800 很便宜，512GB 約 1.5-2 萬
• 二手伺服器商家通常提供整機組裝和測試服務

有具體預算分配問題可以再問我。