来回折腾了一下,分别使用了hermes的问答,太慢了。让hermes直接干,有点没底。最后用vsCode的claudCode插件直接操作,AI干完了。
一遍一遍的各种测试,各种搞,还是AI干起来更快

来回折腾了一下,分别使用了hermes的问答,太慢了。让hermes直接干,有点没底。最后用vsCode的claudCode插件直接操作,AI干完了。
一遍一遍的各种测试,各种搞,还是AI干起来更快

工作室内多了一个L20工作站,4张显卡。
怎么更好的配置LLM本地模型呢?
如果要配置Qwen 3.6 27B 应该怎么设定,才能发挥这套硬件的最大能力呢?请各位大侠赐教。
特别,目前的配置,好像是有非常大的问题的
[root@localhost ~]# curl http://localhost:8000/v1/models
{"object":"list","data":[{"id":"/models/Qwen3.6-27B","object":"model","created":1779713843,"owned_by":"vllm","root":"/models/Qwen3.6-27B","parent":null,"max_model_len":16384,"permission":[{"id":"modelperm-85fd0f5b94fee3e2","object":"model_permission","created":1779713843,"allow_create_engine":false,"allow_sampling":true,"allow_logprobs":true,"allow_search_indices":false,"allow_view":true,"allow_fine_tuning":false,"organization":"*","group":null,"is_blocking":false}]}]}

