推理框架Fastllm：https://github.com/ztxz16/fastllm 4.3k星，到了这个级别就不是玩具了，是可实用的。
模型下载地址：https://modelscope.cn/models/huangyuyang/DeepSeek-V4-Flash-FP8-Q4 这是把原版FP4 FP8混合权重的FP4部分换成了INT4，因为这样有利于CPU AVX-512指令集反量化权重，官方原版FP8模型，FP4 FP8混合模型都能跑，但是速度没Q4转译的快。

关于速度和推荐配置，大家可以去官网推荐的群里去询问相关信息，我这边有朋友实测9004配置没问题，能跑起来。所以第一个视频表述有错误，我删除了修正表述重发，防止误导大家。

近期我没计划测试这玩意，不过如果对1M上下文有刚需的情况下，我会尝试。