5060 Ti 16GB 跑本地 Coding Agent：折腾到 96K 上下文后的真实体验

[terry]

非常实用的分享，5060Ti也支棱起来了，还是27B。

[hyaska]

这个后端没听说过，不会玩

[focuser li]

5060ti 已经站起来了，完全可以干活了

[hyaska]

请教一下，批处理应该怎么写

[rori]

請問NInfer 的下載地址是什麼? 是用官方原版嗎?
Qwen3.8-27B GSQ-RCO IQ3_S-MTP 這個模型是GGUF還是.ninfer?

[懒人烘培]

我也测试了NInfer，不过是windows平台，也就只能开到96K，如果在ubuntu系统下，能开到128K

[懒人烘培]

@rori https://huggingface.co/ninfer-5080/Qwen3.8-27B-RTX5080 这是5080的

[rori]

@懒人烘培
感謝, 但我沒有5080。
用它來試5070TI, 結果是不行的。

[XXX]

感謝, 找時間來試試, 不執著雙卡了.

[懒人烘培]

@rori 5070ti连接在这里：https://huggingface.co/YukinoKaorisuna/Qwen3.8-27B-Uncensored-ninfer5080-5070ti

[rori]

感謝!
把這個成功編譯:
https://github.com/YukinoKaorisuna/ninfer-5070ti

作者的提供的模型是V2, 但程式需求V3...

[dardeaw feng]

@懒人烘培 说:

我也测试了NInfer，不过是windows平台，也就只能开到96K，如果在ubuntu系统下，能开到128K

為了128K強烈建議去裝linux 在200K以下每多一點都很有感

[懒人烘培]

@dardeaw-feng 嗯嗯就是，非常同意你的观点

[MysteryZhou]

用dflash2可以开到128K，还更快一点

[hyaska]

llama.cpp的dflash2原来是把2种组合一起用