眾所皆知, SATA SSD 與PCIE 4 5 SSD 在打遊戲時用起來差不多, 但我問AI "AI模型載入的場合也差不多嗎?"

Peace Love

Gemini AI 說差非常多, 可以差十倍以上時間.(35b 2秒與 40+ 秒的差距)

各位大老也是得到這樣的結論嗎?

九龙杨生

打游戏除了初始载入大量数据的情况，其他时候读盘大多是小文件，所以传输速度影响不是很大，所以打游戏差距不是很大。但是大模型载入很多时候都是满速载入，你对比一下两者的带宽就能发现差异巨大，从而导致载入速度相差很多。

566656661

是, 基本上正如上面的九龍大說的一樣

因為模型權重基本上就是一個個超大文件, 考驗的就是硬碟的Sequential Read/Write而不是Random Read/Write

平時家用大多數的情況(不記入業餘愛好剪片)基本上考驗的是Random Read/Write

abaalei

LLM/ComfyUI的模型单个15~20G，sata带宽550MB/s，M.2 取个均值4000MB/s，也将尽快了10倍。不过对于稳定的工作流，一般？或许？是不会频繁把模型整个加载/卸载的，所以虽然是有差距，但是个人觉得影响不大。我现在就是4个sata盘来玩，没有感觉到有什么不适。

terry

Gemini现在已经基本和智障差不多了，模型如果频繁需要大量加载/卸载，这个工作流就是有问题的。

q1726092075

@terry 请问一下您，如果现在手头还正在搭建的时候遇到问题应该访问哪家比较合适呀？

kop wang

1、大模型是全量加载。所以相对于游戏来讲，他对于磁盘IO肯定是更敏感的。
2、大模型全量加载其实站在整个业务中的周期比例很小。一般来讲没有诉求会杀掉当前进程再启动。
3、音视频在总显存不够的情况下，有可能会出现交替加载的情况，这时候主要还是考虑优化业务。比如从：

(文生图>图生视频) X n

转成

文生图 X n > 图生视频 X n

他们的时间复杂度是不同的。

所以：
SSD的速率是否决定性的影响了模型加载。是的。
但是，其实加载模型这个工况占总模型进程生命周期很小一部分，所以高速SSD的增效有限。

imbiplaza ASUS

@Peace-Love 我也不懂会不会影响，但是当初安装主机的时候，没有特别想使用sata ssd..

都是直接上双 2tb nvme....

terry

@q1726092075 还得问它啊，你把它当作谷歌来用就对了，就只能干这个。DeepSeek也不错，但是搜索不如它。

imbiplaza ASUS

@Peace-Love
既然问到这个问题的话，我就去留意加载的速度。。。。

原来我现在的comfyui 加载模型是每秒1gb - 4gb 之间，难怪不会特别感觉到慢

如果是sata ssd, 好的samsung 可以max 500mb/s, 有些ssd 只能300mb/s

那样我很难想象当我驱动comfyui的时候，还会不会想以前那样爽。。。

抡锤者