抡锤者

终于搞定了，开64上下文，现在在43T/s 左右

我怎么跑不起来，下载的v0.1.43.1版，提示

strata: this CPU cannot run the expert kernel: missing AVX512F AVX512BW AVX512VL AVX512-VNNI AVX512-VBMI.
        The engine needs AVX512-VNNI and AVX512-VBMI (Intel Ice Lake / AMD Zen 4 or newer).
        The scalar fallback exists for tests only and is far too slow to decode with.

今天我终于借到2根16G

大哥的配置与我的也相近，就是我只有32G内存，愁啊，到底里去搞2根凑个64G，太贵了

windows下原来是用https://github.com/kvmem/kvmem-llama.cpp/releases，纯版ninfer后端不是给5060Ti用的

llama.cpp的dflash2原来是把2种组合一起用

一直没搞懂NInfer，运行下载模型的bat，只有

NInfer - model artifact downloader  (Hugging Face)
====================================================

 [1]  Qwen3.6-27B        groupwise-int   qwen3_6_27b.ninfer         ~16.3 GiB
 [2]  Qwen3.6-27B NVFP4  nvfp4           qwen3_6_27b_nvfp4.ninfer   ~17.1 GiB
 [3]  Qwen3.8-27B        groupwise-int   qwen3_8_27b.ninfer          ~19.0 GiB
 [4]  Qwen3.8-27B NVFP4  nvfp4           qwen3_8_27b_nvfp4.ninfer   ~22.1 GiB
 [5]  Qwen3.6-35B-A3B    groupwise-int   qwen3_6_35b_a3b.ninfer     ~21.2 GiB
 [6]  Qwen3.8-27B NVFP4F  nvfp4full       qwen3_8_27b_nvfp4full.ninfer  ~17.1 GiB

 [0]  cancel

楼主的那个不知道哪下载
是魔搭这个吗
https://www.modelscope.cn/models/fyb423/Swift-1.5-Qwen3.8-27B-GSQ-RCO-NInfer/files

请教一下，批处理应该怎么写

这个后端没听说过，不会玩

666，像我这种不愿意折腾的，买维谛的av3108，加上vga适配器

关键可以抄作业的