deepseek-flash的第三方跑分趣闻

[kop wang]

这次的flash-v4.1 的第三方跑分释放了，数据源如下：https://artificialanalysis.ai/models/deepseek-v4-1-flash?pricing=blended-price#intelligence-breakdown

总体上是预期水平（artificialanalysis.ai刚刚调整了整个总分的权重和算法），但是发现了个有趣的点，值得玩味。

v4.1的错误回答中，幻觉率非常大，也就是非常不懂装懂。

幻觉率的公式是：错误答案 /（错误答案 + 部分答案 + 未尝试回答）也就是说，他有96%的错误情形都是硬装。而不是放弃或者只回答一部分。

这也就导致，v4.1的平均任务花费token数，会更高(PS:GPT6的平均token数确实很惊艳)：

[kos or]

亮點 ！

"v4.1的错误回答中，幻觉率非常大，也就是非常不懂装懂。"

AA-全知指數：得分
AA全知指數（數值越高越好）衡量知識的可靠性和幻覺。它獎勵正確答案，懲罰幻覺，並且對拒絕回答不予懲罰。

分數範圍為-100到100，其中0表示正確答案和錯誤答案的數量相等，負分錶示錯誤答案多於正確答案。

Qwen3.8-27B

[terry]

老美就喜欢整一些有的没的，他们的跑分帮越来约有娱乐性了。事实是，以游戏为例，跑分刷了多少倍，画面质量和2008年左右相比，没啥进步。