3090 双卡 三卡的又 一选择QEngine.

[kos or]

@stxpnet said:

此项目是专为三卡3090用户而生的，并号称要踢馆Strata

怎麼顯卡推論的花樣這麼多 難道未來流行三卡流
好像能比得上5090 的效率了(?)

八併發的速度好像不錯

[stxpnet]

试了半天，根本不行。 可能我没配置好KV CACHE，总之我觉得比STRATA 差远了，我现在直接换回STRATA。

[applejuice]

我试了 也比strata 慢，达不到官方的5000 prefill
最多渠道3000 prefill 多
strata 已经4300 prefill
只是可以同时跑8个 但是我没有这个需求

[starryskyknight]

我目前的確是三卡 但我第二個NVLINK 在路上了 打算弄四卡的說 我月中有空來試試看

[David Chen]

這是另一個引擎Basalt.....根本是百花齊放

但是相同點都是無法利用迸發產生 decode 紅利

這引擎特徵是跑單路 decode 速度驚人....快400t/s

註：模型 QFN NVFP4

[Eric Su]

架得起來，核心是那個多併發引起我的興趣
昨晚讓opus幫我架，還沒很花時間優化
QEngine 能同時處理 16 路，核心是它把 16 條對話合成同一次計算一起跑；Strata 的做法是 4 張卡接力分段處理，所以上限只到 8 路。

一、數字比對

Column 1: 單人生成速度
舊 Strata 0.1.45 正式（4 卡，同時 4 路）: 93～100 tok/s
Strata 最新 0.2.9（官方或社群，非 3090）: 有人回報 3090 單卡從 80 掉到 60
QEngine 1.3.2 正式（3 卡運算，1 卡讀圖）: 123～148
────────────────────────────────────────
Column 1: 同時 4 路合計
舊 Strata 0.1.45 正式（4 卡，同時 4 路）: 166～299
Strata 最新 0.2.9（官方或社群，非 3090）: 4 張 4090：366→510
QEngine 1.3.2 正式（3 卡運算，1 卡讀圖）: 251～259
────────────────────────────────────────
Column 1: 同時 8 路合計
舊 Strata 0.1.45 正式（4 卡，同時 4 路）: 最多 8 路，正式沒開到
Strata 最新 0.2.9（官方或社群，非 3090）: 4 張 16GB 卡：360
QEngine 1.3.2 正式（3 卡運算，1 卡讀圖）: 309
────────────────────────────────────────
Column 1: 同時 16 路合計
舊 Strata 0.1.45 正式（4 卡，同時 4 路）: 不支援
Strata 最新 0.2.9（官方或社群，非 3090）: 不支援，最多 8 路
QEngine 1.3.2 正式（3 卡運算，1 卡讀圖）: 348～367（工具呼叫）／579～597（短題）
────────────────────────────────────────
Column 1: 16K 長文首字
舊 Strata 0.1.45 正式（4 卡，同時 4 路）: 7.1 秒
Strata 最新 0.2.9（官方或社群，非 3090）: —
QEngine 1.3.2 正式（3 卡運算，1 卡讀圖）: 5.2 秒

同時 4 路時兩者差不多，真正的差距在 8 路以上。還有一點：QEngine 只用 3 張卡運算，Strata 是 4 張全用。

二、QEngine 為什麼做得到 16 路

1. 16 條對話合成一次計算。 每一步把所有進行中的對話一起送進去算一次。它預先建好的計算流程只看「幾條對話、幾個草稿」，不管是哪幾條，所以換人進出不用重建，多加一條幾乎沒有額外成本。
2. 專家權重讀一次，大家共用。 這是混合專家模型，每一步只會用到一部分專家。QEngine 每個專家只讀一次，再分給所有選到它的對話一起算。實測每步只缺約 31 組專家，命中率 99%，所以人越多，搬資料的成本攤得越薄。
3. 3 張卡同時算同一層。 每一層都是三張卡一起分工，所以每一步三張卡都在忙。
4. 人多時犧牲「先猜後驗」的加速。 每次計算最多處理 32 列：只有 1 個人時，每條對話可以一次猜 3 個字再驗證；16 個人時，每條只剩猜 1 個字。這就是為什麼人多時總吞吐變成約 2.4 倍，但每個人自己變慢。
5. 16 這個上限是寫死的。 程式裡直接限定 1～16 條，剛好 16 條 × 每條 2 列 = 32 列，填滿一次計算。
6. KV 放主記憶體。 這樣 16 條長對話都放得下。代價是有人讀長文時，其他人的生成會被擠慢，1.3.2 和 1.3.3 都一樣。

這裡其實很有趣的地方是因為作者只三張，源碼就寫死勒。
另外還注意到上下文最長可以到 1M。

[johnnybegood]

@stxpnet 这玩意出来后都得等等大神们调优后再用

[Eric Su]

確認可用，速度還很不錯。
這樣的併發設計思路，應該可以是未來所有MOE模型的參考。
PS.這引擎禁止商用。

負載	每秒產出字數（全部人加總）	第一個字出來的時間（一般 / 最慢 5%）
單人短題	143.6	0.06 / 0.07 秒
同時 16 路短題	634.4	0.12 / 0.62 秒
同時 4 路工具呼叫	238.3	0.31 / 0.53 秒
同時 8 路工具呼叫	380.3	0.41 / 0.73 秒
同時 16 路工具呼叫，第 1 輪	424.7	0.80 / 1.69 秒
同時 16 路工具呼叫，第 2 輪	435.8	0.76 / 1.80 秒
同時 16 路工具呼叫，第 3 輪	480.0	0.63 / 1.48 秒
長文 1.6 萬字，單路	讀題每秒 5,098 字	3.22 秒

• 穩定性： 每一格都零錯誤。卡間同步逾時、顯卡錯誤、顯存不足、系統層的顯卡錯誤、自動重啟，全部都是 0。
• 讀圖： 單獨測 5 次全對；壓測時背景同時讀 20 次也全對，每次約 0.2 秒。
• 上下文： 1M，對話快取放在主記憶體。

跟之前 Strata（同一台、4 卡）比較

Strata 的數字取自 10/31 停機前的測試（一題一格），以及 10/19 定案的 4 卡版本。

指標	Strata	QEngine 現在	差距
單人短題，第一個字	1.89 秒	0.06 秒	約快 30 倍
單人短題，每秒字數	56.3	143.6	2.5 倍
單人工具呼叫，每秒字數	56.1（最佳設定 90～102）	這輪沒測（3 卡時 147.9）	約 1.5～2.6 倍
長文 1.6 萬字，第一個字	7.06 秒	3.22 秒	快 2.2 倍
長文 1.6 萬字，讀題每秒字數	2,331	5,098	2.2 倍
同時 4 路，加總每秒字數	166～174	238.3（背景同時在讀圖）	1.4 倍
同時 8 路、16 路	最多只能同時 8 人，16 路沒測過	8 路 380.3；16 路 425～480	至少約 2.5 倍以上
6.4 萬字長文，第一個字	14.7 秒	這輪沒測（3 卡時 13.96 秒）	待補

[小羅kenneth]

@starryskyknight 有推薦的NVLINK嗎 ?

[starryskyknight]

@小羅kenneth 说:

@starryskyknight 有推薦的NVLINK嗎 ?

我兩台四張 兩個nvlink都是用四槽的 品牌沒差 都是官方貼牌的 不要買服務器版本的 不然沒空間散熱

[小羅kenneth]

@starryskyknight 感謝大大 因為掏寶價差很大 看得眼花撩亂 你買的價格大約是?

[starryskyknight]

@小羅kenneth 说:

@starryskyknight 感謝大大 因為掏寶價差很大 看得眼花撩亂 你買的價格大約是?

記得 兩槽跟三槽的都不是 還有就是一定要買30系列用的 其他的都不能用