@AresROC
这个也是我从ai了解到的. 如果没有nvlink 倒不如用r9700 或单卡.
原因是如果kv缓存需要用多过单卡vram 需要经过pcie 就比较慢了.
之前纠结的 r9700 有fp8 可能可以用超过3-5年 而且比较适合我
我个人需要长上下文 60k 不够用 可能要超过100k
个人用习惯claude
而且现在的agent开局就20-30k context
单卡3090 不考虑 turboquant, f16 kv 可能就只能支持50k
这个情况应该考虑r9700
但是价钱很两张3090+nvlink 整机价钱都只是多过r9700一丢丢
考虑到2张r9700 没用 因为pcie3 比较慢（pcie5 整体硬件又贵不少）
2张3090+nvlink 长上下文 prefill 比较快 又便宜 所以选了3090
只希望可以用上3年 如果可以去到4-5年就赚了
ai 也给了一个不知对错的解答：r9700 也不一定能撑4-5年 如果概率来说2-3年一张3090坏的成本 还低过3年后 r9700 坏的成本，可能ai 没考虑到3090 是矿卡...
以上都是ai 问来的 希望大神纠错