-
光就跑deepseek來說, DGX spark GB10還是比較香一點, 一張RTX pro 6000差不多就四台GB10的錢. 4台GB10可以跑滿血deepseek v4.1 flash 1017, decode 90~100 tok/s, prefill 3500-4000 tok/s, 500K ctx 10併發.
-
deepseek v4.1 flash 1017, decode 90~100 tok/s, prefill 3500-4000 tok/s, 500K ctx 10併發.
10併發, aggregate 速度有多快呢？ 聽起來好像不錯
RTX pro 6000 算多功全能型, 跑ComfyUI 應該很順
-
光就跑deepseek來說, DGX spark GB10還是比較香一點, 一張RTX pro 6000差不多就四台GB10的錢. 4台GB10可以跑滿血deepseek v4.1 flash 1017, decode 90~100 tok/s, prefill 3500-4000 tok/s, 500K ctx 10併發.
@soop-ladios 四张 5070ti 加起来， 从纯硬件角度看真的要超过 rtx pro 6000了， 就看软件能发挥硬件多少能力的问题了。
-
光就跑deepseek來說, DGX spark GB10還是比較香一點, 一張RTX pro 6000差不多就四台GB10的錢. 4台GB10可以跑滿血deepseek v4.1 flash 1017, decode 90~100 tok/s, prefill 3500-4000 tok/s, 500K ctx 10併發.
@soop-ladios 有数据出处吗？4个GB10连起来VRAM带宽理论上是可以scale 大概270*4将近1TB/s 但是除了DGX Spark的钱还需要买QSFP112光纤和交换机大概又是好几千美元。
而且10并法意思是aggregate起来230-260 tok/s吧 所以单个用户只有20tok/s 还是基本上等于不能用
目前双PRO6000方案这个人的是最快的：
https://huggingface.co/cliecy/DeepSeek-V4.1-Flash-1017-EXL3-3bpw-2xRTXPRO6000EXL3 3bpw量化大概 decode 100 tok/s, prefill 4800 tok/s, 1m ctx, on vllm
但是RAM需求非常高 要256GB -
@soop-ladios 四张 5070ti 加起来， 从纯硬件角度看真的要超过 rtx pro 6000了， 就看软件能发挥硬件多少能力的问题了。
@johnnybegood 4x5070ti （或者别的卡）主要问题是Pcie通信的带宽 如果这些卡支持Spark上那种ConnectX-7的RoCE链接 核心算力速度和显存带宽是可以叠加的
不然就光Pcie通信overhead可能都会增加延迟。
-
@soop-ladios 有数据出处吗？4个GB10连起来VRAM带宽理论上是可以scale 大概270*4将近1TB/s 但是除了DGX Spark的钱还需要买QSFP112光纤和交换机大概又是好几千美元。
而且10并法意思是aggregate起来230-260 tok/s吧 所以单个用户只有20tok/s 还是基本上等于不能用
目前双PRO6000方案这个人的是最快的：
https://huggingface.co/cliecy/DeepSeek-V4.1-Flash-1017-EXL3-3bpw-2xRTXPRO6000EXL3 3bpw量化大概 decode 100 tok/s, prefill 4800 tok/s, 1m ctx, on vllm
但是RAM需求非常高 要256GB@lunarmoon26
這是我實測的數字, 配方來源 https://github.com/knapcio/DeepSeek-V4.1-Flash-4x-DGX-Spark-TP4
這是原版模型,不是3 bit量化的. 10併發實測能有2x我覺得很好了.
原repo的數據:
我的實測c1 90~100多是實際跑任務觀察的, c10 是叫Agent打的, 平常沒那麼多在跑.
社區上有更猛的repo, 不過要改到kernel, 我就懶得弄了 -
@lunarmoon26
這是我實測的數字, 配方來源 https://github.com/knapcio/DeepSeek-V4.1-Flash-4x-DGX-Spark-TP4
這是原版模型,不是3 bit量化的. 10併發實測能有2x我覺得很好了.
原repo的數據:
我的實測c1 90~100多是實際跑任務觀察的, c10 是叫Agent打的, 平常沒那麼多在跑.
社區上有更猛的repo, 不過要改到kernel, 我就懶得弄了令我驚豔,不過那是原版的. Exl3 2.9bpw我正在 4 x v100 32G + 128G DDR4 ram測試, 速度也只有30 tok/s, prefill只有500多, 還要再調一下, 調完再來看看品質如何. Ok的話30 tok/s還是很好用的.
照理说原版应该比量化慢
不过4台spark还是很猛的 我的4台spark马上也要到了 有点小期待你连spark用了交换机吗？有没有推荐的？
哈哈哈 30toks我不行 我日常使用一定要～100toks左右 不过context 400k就够了
-
令我驚豔,不過那是原版的. Exl3 2.9bpw我正在 4 x v100 32G + 128G DDR4 ram測試, 速度也只有30 tok/s, prefill只有500多, 還要再調一下, 調完再來看看品質如何. Ok的話30 tok/s還是很好用的.
照理说原版应该比量化慢
不过4台spark还是很猛的 我的4台spark马上也要到了 有点小期待你连spark用了交换机吗？有没有推荐的？
哈哈哈 30toks我不行 我日常使用一定要～100toks左右 不过context 400k就够了
@lunarmoon26
交換機我只有買過MIKROTIK CRS 804, 預設風扇蠻吵, 應該可以調. 不知道好不好買, 4台的話不用switch也是行的. -
@johnnybegood 4x5070ti （或者别的卡）主要问题是Pcie通信的带宽 如果这些卡支持Spark上那种ConnectX-7的RoCE链接 核心算力速度和显存带宽是可以叠加的
不然就光Pcie通信overhead可能都会增加延迟。
@lunarmoon26 我说的4张5070ti，比喻的就是4台Spark。而且4台Spark对比的是一张RTX Pro6000。如果有两张的话，当然是无敌的。
-
@lunarmoon26 我说的4张5070ti，比喻的就是4台Spark。而且4台Spark对比的是一张RTX Pro6000。如果有两张的话，当然是无敌的。
@johnnybegood 5070ti核心算力和spark差不多 不过硬件架构问题4x5070ti还是不能跟4xSpark一样协同工作
5070ti便宜太多了
