ninfer框架 decode 70~170 tok/s DSH里跑了几个小时 又是QA 又是策划 看着对话挺像回事 最后一玩 一整个浪费时间:


它还整了一个音乐 老大声 没法放上来听。
这就是本地27b的极限了吗?还是我harness和工具不到位 
ninfer框架 decode 70~170 tok/s DSH里跑了几个小时 又是QA 又是策划 看着对话挺像回事 最后一玩 一整个浪费时间:


它还整了一个音乐 老大声 没法放上来听。
这就是本地27b的极限了吗?还是我harness和工具不到位 
表面看上去 什么都能干,什么问题都能接住;
可实际体验下来,回答的质量几乎没有统一的质量保证。
还是要靠人力核对,验证,调修。
最后就变成了一个更好使用体验的stackoverlow。
给愿意学习的人赋能了一下,缩短了学习的时间。
但是并非任何想法都能在上面找到答案;
最终还是靠人的水平/能力 确保产品的质量。
大部分人来地球就是吃吃喝喝的,没有那么多精力学习;
愿意学习的精力也有限;愿意玩的又很picky 普通AI的产品没人愿意浪费时间。
这一波AI发展要是放缓了,这X-large版的Stackoverlow的感觉就更明显了,感觉能把AI股票一波带崩了..
毕竟谁家没事自己deploy一个本地的stackoverlow 问问题学习啊。这市场还是太小了。
老是手动trigger 要么agent干着干着就停了 人力监督很累
@Tony-Wang 可以跑的,还行。我max model len也是放满262k的 还行: