求助 win11系統下如何實現瀏覽器實時託管
-
@williamlouis 我不是行業內的從業者，主業是室內空氣品控設備，搞無塵室無菌室相關的。
純粹是因為懂點電腦自己瞎玩的，純小白一枚，正好在一些圈子有點人脈跟人聊聊天會發現，很多你認為理所當然簡單的東西其實很多人都不會，並且都有需求 -
@williamlouis 我不是行業內的從業者，主業是室內空氣品控設備，搞無塵室無菌室相關的。
純粹是因為懂點電腦自己瞎玩的，純小白一枚，正好在一些圈子有點人脈跟人聊聊天會發現，很多你認為理所當然簡單的東西其實很多人都不會，並且都有需求 -
@陳瑋 不会你多发帖，大家多少都会回复你，不过你问题要描述清楚，有些基本的东西，你要自己多摸索，比如你问的那个LM Studio的问题，那是很基础的，和AI都无关，就是你自己多点几下就能找到。
-
@terry 老大，那個CUDA的問題，其實我的問題是我家四台電腦只要是win CUDA驅動永遠裝不好重灌win也沒有用，應用程序裡面也都顯示已經安裝cudatoolkit，不過我在ubuntu裡面測試過llama.cpp都是可以識別的。但是在win裡面 ollama、lmstudio永遠找不到顯卡的驅動
只不過平時工作的時候需要用win，才會偶而把lmstudio拿出來用。但每次都覺得找不到這個cuda的問題很刺眼，目前家裡的1650 2050 3080 4070 RX6600XT的VULKAN，全都會碰到這個問題
-
@陳瑋 llama.cpp +Qwen2.5-VL-7B-Instruct-GGUF+mmproj-BF16.gguf. 有Windows 一件包了。你可以试试。做图片没问题。
-
@williamlouis 讲实话他这个问题我真没遇到过，或许这是唯一解决方法了。
-
謝謝兩位大哥，其實我也知道我這個問題好像只有我遇到過，但我今天上班的時候有個靈感
如果把cuda_visible_device 從指定數字改成指定顯卡名稱會怎樣，結果回家一試就成功了 -
@陳瑋 发个新帖。正好你可以救救你。
-
@williamlouis 啊哈!我已經自救成功了~~ 謝謝大老
-
@陳瑋 学习下，对你有好处。不要看别人跑什么，你就跑什么。所有人都推荐的东西。对你未必有用。新的组合，更多的组合 往往才能给你惊喜。
@williamlouis 好 謝謝大佬，我稍微看了一下你的llama.cpp 我正在研究你的配置，思考怎麼轉移到我公司的電腦上
-
@陳瑋 学习下，对你有好处。不要看别人跑什么，你就跑什么。所有人都推荐的东西。对你未必有用。新的组合，更多的组合 往往才能给你惊喜。
-
@williamlouis 目前我發現大哥你這個GPU思考層、CPU跑專家層的做法，我手邊沒有合適的環境可以測試，因為我的電腦全是只有32G DDR4的，這樣好像裝不下a35b模型，不過這個思路好像可以用在其他MOE模型上。我想得到的使用場景是在公司，用我不要的tesla p4，結合公司電腦的16Gddr5 ultra5 225 搭建一個間單的moe server給公司員工使用，不過還有幾個想得到的已知問題我需要自己去測試下。
當然如果長輩願意幫我簽核經費去升級到64G是最好的了
