关于鹈鹕骑自行车的问题？

[johnnybegood]

我用两个模型， 同样的提示词， 跑 鹈鹕骑自行车的动画。

一个模型做的审美很棒，比较精美，一看就是大师级的美术设计， 但是有明显的错误， 比如自行车轮子不转， 云彩是往前走而不是往后走

第二个模型，做的审美一般，但是逻辑都对， 有脚蹬子，有脚，脚蹬子和轮子都会转，云彩方向也是对的。

那测出来能说第二个模型更好么？ 或者说我平时干活是不是应该用第二个？

[kos or]

我猜

第一个模型 => Flash Next
第二个模型 => 27B

的確是有這個現象

逻辑問題可以優化看看 調整 1. Reasoning Efforts 2. KV Cache Quants 精度大小

最佳組合 可能就是 模型1 + 模型2 進行合作

[Tony Wang]

如果是我, 会选第二个. 审美没有标准, 但是逻辑和事实是有标准的.
审美可以通过工具二次提升, 基本的逻辑如果都不对, 那恐怕无法让人信任.

[kop wang]

我个人理解，鹈鹕骑自行车，本质上其实看的是模型的指令遵循和审美能力。

1、现实世界中鹈鹕并不能骑自行车，而且鹈鹕的外观和骑自行车的动作时冲突的。这时候就可以考验模型是否可以在没有任何基础历史信息的前提下，发挥它自己真正的涌现能力来达到目的。

2、实际逻辑有很多规格非常高，非常严谨的跑分项目，不需要鹈鹕骑自行车来验证。

3、跑分其实很难量化审美以及多模态视觉观察能力。

[fcme]

我觉得根本不用纠结，拿到你自己的工作场景里面去用就好了，他要能满足你能达到你想要的效果，那就是好模型！
理论测试不一定能真实反映你的工作需求，刷榜大家都会，尤其这种具有普遍性的题目。

[stxpnet]

确实必须用自己的工作任务来测试，网上那些测试，说真的，他们估计 都是跑跑最大t/s，然后弄几个花里胡哨的小游戏。截个图晒一下。真的跑完75% 上下文的有多少？