4090 (4070TI） 解锁F16(FP32)算力 加快PREFILL

[NY Zhao]

@terry 我仔细研究了下，不是物理的，也不是bios，可逆的，不过只有FP16和32，感觉只有在训练的时候有用，普通推理的时候，我们不都用混合量化，感觉收益不大

[David Chen]

對啊....就跟樓上說的，這啾竟可以用來幹嘛？除了跑分比較爽，燒機（物理？）比較快以外？
可否分享除了訓練或者數學運算以外的殺手級用法？

[terry]

@NY-Zhao 你是在开玩笑吗？大模型推理主力是BF16，ComfyUI是BF16+FP32。混合量化是云端，本地除了DeepSeek的NVFP4+FP8等少数情况，BF16算力是最重要的，覆盖绝大多数范围。

[NY Zhao]

@terry 哦吼，真的啊，太好了，那我要去搞了，等他们的windows移植版出来

[Alex Liu]

老特又有素材做视频了， 我都想好第二个视频就叫做N 卡专栏。

[David Chen]

@terry 我修正我的看法，可惜5090（還？）不能解鎖，不然我之前的雙5090 如果可以改FP16架構又可以進一步飛天了

https://lcz.me/topic/1840

[terry]

@Alex-Liu 已经水了视频。

[terry]

@David-Chen 5090算力已经过剩了，它的问题是显存容量还有发热。

[David Chen]

@terry 我告訴你一個祕密，跑雙卡反而顯卡單張耗電小，更不容易發熱，那怕是5090這種火爐也一樣 ^_^

[用户名违规]

4090D-48G测试结果：
利好comfyui 图片和视频渲染速度提升80%。
大模型 利好，预训练FP32速度。推理没有任何进步。