我一直对LLM推理很感兴趣，自己动手写了一个极简的推理引擎。因为对数值计算有点执念，我走了一条比较偏门的路子——尽可能把浮点运算都换成整数和定点数（像Q8.8/Q16这种），想看看在纯CPU上能跑成什么样。

折腾了一段时间，目前的情况是这样的：

速度：在我的台式机CPU上，2B大小的模型能稳定跑到 15+ token/s，最低也在10以上

确定性：因为全是整数运算，我做了Trace Hash校验，结果是一致的

语义：简单对比过，和浮点版本的输出差异不大，没有明显崩坏

我知道这个速度不算惊艳，毕竟只是个2B小模型，而且CPU跑大模型本来就不现实。但我自己觉得这条路好像可以继续往下走——接下来想试试27B的模型，还有昇腾那边的NPU，也在关注Tenstorrent，感觉他们的分层计算思路和我的方向有点契合。

我发这个帖子，主要是想请大家帮我看看：

这种“全部用整数算”的方向，你们觉得有实际落地的价值吗？还是说只是我个人的玩具？

如果我想往NPU上移植，有没有什么是你们觉得最该提前注意的坑？

论坛里有没有同样在搞推理引擎的朋友，想交个朋友，互相学习一下

代码还很糙，暂时没好意思发出来，等再打磨一下我再开源吧，目前有个验证版的开源https://github.com/superalp1985/DCA-Inference-Engine。谢谢大家看完，希望没占用你们太多时间。