我换回3.6 35B了
-
ornith1.5下载中...
1.5 ornith测试中，太慢了，Deepseek说由于新框架的原因，不建议现在部署，等段时间吧
-
我现在q3.8 不是live，而是 开，关，开关。。。留言学习。。。。。。。
-
这里楼主的机器配置是什么样的似乎并没清楚。如果是类似于英伟达的显卡，那么使用稠密模型27B。如果是使用的Mac电脑，那么就使用MoE模型3.6 35B，在此基础上才能讨论是使用3.6还是3.8版本，我个人还没有测试3.8版本，只能说以上是自己的理解。不吝赐教
@kadingche 7900XTX
-
-
35b经常死循环，一直重复
@stormaround 确实，俺也1样
-
尝试了一下Ornith-1.5-35B-A3B，确实比Qwen3.6-35B-A3B好用（双6800xt llama.cpp-turboquant-hip）。每秒51t/s,比Qwen稍慢一点，但是一些中短链任务能力实测要比Qwen强。
我用的是 Ornith-1.5-35B-A3B-NVFP4 , N卡專用格式, 速度約 120~180 tok/s
速度恨快 但穩定性不佳, 雖然結果不會出錯 但過程試錯的程度太高 (類似鬼打牆 東撞西撞) , 忘東忘西的, 不過它的自我審查機制都會把它導到正確的道路上這個當聊天工具, 查資料和輕度工作使用 非很快, 多併發使用沒問題,
如果配合上好的Engineering Harness 框架 例如Deepseek Harnesss 可能也不錯我覺得是個有潛力的model, 應該可以調整的更好
或許Q8, Q6, Q5 高精度版本會有更好的表現
