有人在研究模型轉換嘛？例如本來不支援雙卡，讓他支援雙卡併發，或是支援之前沒支援的MTP或DF2
-
最信迷上了引擎優化以及模型改造
有人在研究模型轉換嘛？例如本來不支援雙卡，讓他支援雙卡併發，或是支援之前沒支援的MTP或DF2
例如一開始 strata還沒支援nvfp4模型....妳自己弄或者strata 支援了 nvfp4 模型，但是不支持雙卡或多卡TP...自己改引擎自己弄
甚至為了驗證自己轉出的模型與引擎優於原版，做一連串的品質分析
例如用以下分析A. 權重層級：量化誤差分析
測量每個 tensor 的最大絕對誤差、RMSE、相對誤差、cosine similarity，並依層排序。特別檢查 attention、GDN、MLP、embedding、output head 與 MTP。
能定位哪一層失真最多，但權重誤差較小不一定代表實際能力較好。B. 輸出分布：KL divergence 與 Top-K 一致性
讓 BF16 與量化模型讀取完全相同的 token 前綴，比較下一個 token 的機率分布、Top-1 命中率、Top-K 重合率及 KL divergence。
這比只看權重差異更接近模型行為。需要兩邊都能取得 logits 或足夠的 token log-probabilities；若 NInfer API 不提供，必須改用可輸出 logits 的評估路徑。C. 實際能力：標準 benchmark 加自訂測試
用 LM Evaluation Harness 或 LightEval 評估知識、數學、程式碼、指令遵循；再加上你實際使用的中文推理、長上下文及 Hermes Agent 工具呼叫任務。
這一層最能回答「哪個模型比較好用」。D. 部署效能：速度、記憶體與穩定性
分開測 prefill 與 decode tokens/s、峰值 VRAM、長上下文表現，以及啟用 MTP 後的實際吞吐量。不同引擎必須分別測量，避免把 kernel 或 runtime 差異誤認成量化格式的優劣。目前我只是新手，不知道有沒有先進分享心得?
-
-
-
-
世界这么大， 肯定有人在做了。
@johnnybegood 所以丟個球出來，看看這裡的鄉民們有沒有也在研究的
-
-
@imbiplaza-ASUS 我看到另一個是 ComfyUI-Distributed
還有影片介紹 https://www.youtube.com/watch?v=p6eE3IlAbOs
以及他的 Github https://github.com/robertvoy/ComfyUI-Distributed
可惜我暫時對影像處理沒興趣我是在研究vgpu時不小心找到的
昨天有看到有人把5090的 vgpu解鎖
我這幾天有時間找時間研究看看如果5090可以像出租算力方式建立虛擬vgpu利用網路分享算力
那接下來可以幹的事就太多了
