抡锤者

雙11又怎樣?內存跟顯卡會便宜嗎?

你是用什麼模型? IQ3_XXS嗎?

BD3應該可以插4條吧?
根據這一篇:
https://lcz.me/topic/2270?_=1792643109377

ninfer 跟Radiance 都有一個共通點導致高效率, 就是要有專用文件格式。
strata 可以參考一下。

AI泡沫爆破這些言之鑿鑿的消息, 我印象中最少半年前已有不少, 看到現在我已經沒感覺了。

引用香港股界一句名言:
認真,你就輸了。

感謝!
把這個成功編譯:
https://github.com/YukinoKaorisuna/ninfer-5070ti

作者的提供的模型是V2, 但程式需求V3...

@懒人烘培
感謝, 但我沒有5080。
用它來試5070TI, 結果是不行的。

請問NInfer 的下載地址是什麼? 是用官方原版嗎?
Qwen3.8-27B GSQ-RCO IQ3_S-MTP 這個模型是GGUF還是.ninfer?

用lact這個軟件把功耗降到275W, 然後用它的風扇速度調整

@applejuice
是什麼CPU散熱器?
散熱比一般的好嗎?

有試過這樣配置的效果怎樣嗎?
容易發生死循環嗎?

我關注的是速度跟質量能否超過27B?
只是能跑, 意義實在不大。

你可以錄一段"啸叫"聲來聽聽嗎?
因為以我的定義來說, "啸叫"就是指 "涡轮卡的風扇快速轉動時發出的聲音"

打開 設置->模型->打開配置文件, 然後在你自定義的模型中加上:

input:
  - text
  - image

我的範例:

config:
  providers:
    local:
      apiKeyEnv: LOCAL_API_KEY
      api: openai-completions
      baseURL: http:/192.168.1.100:8000/v1
      models:
        - id: local
          name: local
          input:
            - text
            - image

@perter

我再試了一下2個模型。
A: Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp
B: Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp

用llamacpp webui:
A: 可以關
B: 可以關

用dsh 0.1.7-rc.1:
A: 可以關
B: 不能關

我試過Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf, 它有個問題,就是不能關閉思考模式, 而且比我正在用的慢10token.

我在用的模型:
https://huggingface.co/Bucoid/Qwen3.8-27B-IQ4-XS-MTP-16GB-VRAM-GGUF

配合kvmem可以讓16GB的卡有比較長的上下文:
https://github.com/kvmem/kvmem-llama.cpp

有可能內置類似JEV的功能嗎?

已經試過用來編程的, 很容易掉入死循環。

希望下次加入DS跟DSH比較

舊版本的的那些統計有誤。