-
-
-
X99-T8D + DDR3 内存是不是可以搞这个方案了
-
Prefill 才500多 速度这么低 能用吗？
随便一张n卡 都翻倍了吧，双卡价格都上万了才这点速度 ，性价比很差啊，我是不能理解这么低的prefill 做智能体究竟有什么意义，我随便组的 2080ti双卡 27b prefill都有1800+，我都觉得慢，正常好用至少4000+
-
Prefill 才500多 速度这么低 能用吗？
随便一张n卡 都翻倍了吧，双卡价格都上万了才这点速度 ，性价比很差啊，我是不能理解这么低的prefill 做智能体究竟有什么意义，我随便组的 2080ti双卡 27b prefill都有1800+，我都觉得慢，正常好用至少4000+
-
@Mediali-Li 什么模型可1800？
@applejuice 4-bit 量化模型（AWQ、GPTQ 或 AutoRound）的输出速度为 110 token/s，而 FP8 量化可达到约 1500–1600 token/s，从而实现 75 token/s 的输出速度。
-
@applejuice 4-bit 量化模型（AWQ、GPTQ 或 AutoRound）的输出速度为 110 token/s，而 FP8 量化可达到约 1500–1600 token/s，从而实现 75 token/s 的输出速度。
-
@Mediali-Li 如果你这个是稠密模型 那是真强
@applejuice 这点速度还快？ 27b w4a16 我双卡5090 去到 8000 prefill，nvfp4得 1.5w+ 2080ti我就挂机做个翻译而已!
-
@applejuice 这点速度还快？ 27b w4a16 我双卡5090 去到 8000 prefill，nvfp4得 1.5w+ 2080ti我就挂机做个翻译而已!
-
@Mediali-Li 果然高手在民间
1500prefill 我都感觉很不错了
-
看来我长期被llama 坑惨了。。。速度尽然可以相差3倍之多。。。
我再看看有什么可以捣鼓的，长期在win11 也不是办法 -
@Mediali-Li 没办法的，这个价位只能5070ti 16gb....
在中国还可以选3090。。。
在东南亚都是硬吃amd 的韭菜手段 -
@Mediali-Li 没办法的，这个价位只能5070ti 16gb....
在中国还可以选3090。。。
在东南亚都是硬吃amd 的韭菜手段@imbiplaza-ASUS 现在新加坡 马来西亚的2手 3090 都比淘宝便宜
想买2手来改水冷玩4张3090 但是难度太高 钱要花太多
-
还好 我可以经常回国，在美国也没啥好买的，不过之前特价倒是入了3张5090 现在派用场了
-
@imbiplaza-ASUS 现在新加坡 马来西亚的2手 3090 都比淘宝便宜
想买2手来改水冷玩4张3090 但是难度太高 钱要花太多
@applejuice
3090神卡来的。。。。卖家不愁顾客 -
双卡 R9700 跑这套 TP 思路可以，但和双 7900XTX 是两码事，别直接类比：
- R9700 32G，双卡就是 64GB 池，容量比 7900XTX 双卡（48G）还大。
- 但带宽和架构不同档：R9700（RDNA4 中端）单卡带宽约 640GB/s，7900XTX（RDNA3 满血）约 960GB/s。TP2 吃的是聚合带宽，所以双 R9700 的 decode 未必跑得赢双 7900XTX，优势在容量和功耗——更省电、温度更友好。
- 一样的前提：RDNA 跑 TP2 必须用 JartX fork（stock vLLM 无官方 RDNA TP）。双 R9700 TP2 的收益主要在「能塞更大模型 + 多并发」，不是「单流更快」。
- 结论：要大模型/多用户并发 → 双 R9700 划算；要单流极限速度 → 双 7900XTX（散热坑大）。日常 27B + ComfyUI，单卡 R9700 就够，别一上来就双卡。
-
我就一张7900xtx，之前试sglang 跑fp8 双r9700 开mtp，32k ctx会掉到10几tok/s，普通请求40 -50，关mtp 32k也能稳定25左右tok/s，短的也差不多
-
，系统 取消固定了此主题
-
我就一张7900xtx，之前试sglang 跑fp8 双r9700 开mtp，32k ctx会掉到10几tok/s，普通请求40 -50，关mtp 32k也能稳定25左右tok/s，短的也差不多
-
@stormaround 这卡 prefill太低了 说白了就是性能不行 做智能体几乎不能用
