感覺系統記憶體頻寬影響prefill速度很大,
我目前也是用7900XTX;差別是平台是5900X+X570,
只有DDR4 雙通道.
目前用的是DDR4 3600 128G,
頻寬測試結果如下:
prefill速度觀察opencode長任務過程,
最高大概就900出頭破不了千,
使用的模型 / 設定皆與本篇相同;
僅因開啟視覺支援後常常發生non-finite logits (#879)錯誤,
故將MTP spec調整至2降低發生機率.
昨天將版本升級至0.1.45.3後還沒發生non-finite logits (#879)錯誤,
有考慮把MTP spec調回4試試.