抡锤者

打開 設置->模型->打開配置文件, 然後在你自定義的模型中加上:

input:
  - text
  - image

我的範例:

config:
  providers:
    local:
      apiKeyEnv: LOCAL_API_KEY
      api: openai-completions
      baseURL: http:/192.168.1.100:8000/v1
      models:
        - id: local
          name: local
          input:
            - text
            - image

AI泡沫爆破這些言之鑿鑿的消息, 我印象中最少半年前已有不少, 看到現在我已經沒感覺了。

引用香港股界一句名言:
認真,你就輸了。

感謝!
把這個成功編譯:
https://github.com/YukinoKaorisuna/ninfer-5070ti

作者的提供的模型是V2, 但程式需求V3...

要玩LLM的就多一張7900XTX吧,配上sglang就很不錯。 我看到二手的最低大概是5900。

現在值得買的卡都貴。
早買早享受。