-
@kylin_Zaki 我说实话，这张卡我倒是没想到这么多人买，因为大陆人一半都倾向于N卡，但境外的似乎都很看重保修。文化差异大，大陆人要求立刻能干活，干活快，不太在乎保修。淘宝上六七万买RTX Pro6000的大有人在，这和大陆维修方便低价也有关系。
@kylin_Zaki 我说实话，这张卡我倒是没想到这么多人买，因为大陆人一半都倾向于N卡，但境外的似乎都很看重保修。文化差异大，大陆人要求立刻能干活，干活快，不太在乎保修。淘宝上六七万买RTX Pro6000的大有人在，这和大陆维修方便低价也有关系。
@terry 主要是现在3090涨价了，涨完之后性价比不如7900xtx了
-
@terry 哈哈哈，没事没事，也许是我这个台湾人在词语表达和理解上跟你们有点差距，我也在思考为什么会有差距？明明都是一样github上下载的。也许差距瓶颈在其他硬体，例如主机版、SSD，我的是5-6年前的SATA 256GB老古董了，这应该也是因素之一吧，老特别再推我坑啦，没钱啦
@艷陽天 台灣人+1 舉手
-
我接了codex cli進ubuntu ,讓他檢查hermes提示詞跟skill tools載入過大優化,優化完,目前玩得分起,我在查詢幣價分析幾乎秒等級的回應,然後裝了一張3060/12g 跑一個小模型9b 設定壓縮讓他跑,速度挺快的,給大家參考
-
系统 取消固定了该主题
-
我接了codex cli進ubuntu ,讓他檢查hermes提示詞跟skill tools載入過大優化,優化完,目前玩得分起,我在查詢幣價分析幾乎秒等級的回應,然後裝了一張3060/12g 跑一個小模型9b 設定壓縮讓他跑,速度挺快的,給大家參考
-
@CHIA-AN-YANG 分享一下详细的过程呀
@kylin_Zaki 來了 我把文回到主文章
-
看了你的7900xtx，如果纯跑27B，我还是不入坑了。保持两张16G的羊垃圾，27B-IQ4_NL(理论上比Q4_K_M小一些，智力稳一些)， q8_0的kv-cache 256k可以跑，保险一些224k 240k 加mtp一次吐出8k左右能稳定40-50 t/s。 楼主的单卡24可以考虑折腾dflash，据说速度最高可以10倍。
-
看了你的7900xtx，如果纯跑27B，我还是不入坑了。保持两张16G的羊垃圾，27B-IQ4_NL(理论上比Q4_K_M小一些，智力稳一些)， q8_0的kv-cache 256k可以跑，保险一些224k 240k 加mtp一次吐出8k左右能稳定40-50 t/s。 楼主的单卡24可以考虑折腾dflash，据说速度最高可以10倍。
Q4_K_M
目前是27B Q4_K_M MTP， 可以到50t/s左右
