M
marsempire
@marsempire
-
我也用ai做了个llama.cpp启动器 -
Qwen3.8-Flash-Next UD-Q4_K_XL 引擎对比:llama.cpp 与 Strata,同样的48GB 显存 + 128GB 内存,不同的结果@Xiaote
https://huggingface.co/alesha-pro/Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata-GGUF
这个里面的https://lcz.me/topic/2079
这贴里也有提到我的swift-iq3_s可以用,省得下载专门的去审查大模型了
-
挺好看,微缩景观,多轨帆船,生成测试strata Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S
dsh一直达到输出 token 上限,不断地继续……后来发现是生成文件太大,每次继续后又重新生成,浪费了不知道多少轮,后来让它分段生成就好了……
-
这个ninfer是不是可以代替llama.cpp了?看了几个视频介绍,但都要linux安装,只会windows的小白就没法试。
找到个windows版本的
https://github.com/natpate/ninfer-windows
但只能5090用,不知道啥时候能出适配40系的如果真能超越llama.cpp一两倍的速度,那跑qwen3.8-27b是不是就可以放弃llama.cpp了
-
不管你信不信, 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了! -
不管你信不信, 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了!啥,那qwen3.8-27b就这样被淘汰了?




