抡锤者

為什麼我3080 20g的 q2跑到95tokens

@terry

大哥，在這個問題上我本來的確是一直在問AI，因為我不是計算機專業出身，所以經常看到問題又想不到解決的思路，不過在這個問題上AI一直叫我重裝這個重裝那個，結果硬盤都要幹冒煙了都沒解決，我就大概能知道這個問題應該沒幾個人碰過所以AI也不懂。只能自己想辦法或當伸手黨了

@williamlouis 目前我發現大哥你這個GPU思考層、CPU跑專家層的做法，我手邊沒有合適的環境可以測試，因為我的電腦全是只有32G DDR4的，這樣好像裝不下a35b模型，不過這個思路好像可以用在其他MOE模型上。我想得到的使用場景是在公司，用我不要的tesla p4，結合公司電腦的16Gddr5 ultra5 225 搭建一個間單的moe server給公司員工使用，不過還有幾個想得到的已知問題我需要自己去測試下。
當然如果長輩願意幫我簽核經費去升級到64G是最好的了

@williamlouis 好 謝謝大佬，我稍微看了一下你的llama.cpp 我正在研究你的配置，思考怎麼轉移到我公司的電腦上

@williamlouis 啊哈!我已經自救成功了~~ 謝謝大老

@williamlouis 我用的也是這個，不過當時找不到USB我是燒ubuntu 26進SD卡，沒遇到問題

@terry

@williamlouis

謝謝兩位大哥，其實我也知道我這個問題好像只有我遇到過，但我今天上班的時候有個靈感
如果把cuda_visible_device 從指定數字改成指定顯卡名稱會怎樣，結果回家一試就成功了

@Xiaote 根本就不是你說的那樣，我研究了好幾天想起來以前折騰P4的經歷，最後簡單地把CUDA從指定顯卡編號改成指定ID就成功了

@terry 老大，那個CUDA的問題，其實我的問題是我家四台電腦只要是win CUDA驅動永遠裝不好重灌win也沒有用，應用程序裡面也都顯示已經安裝cudatoolkit，不過我在ubuntu裡面測試過llama.cpp都是可以識別的。但是在win裡面 ollama、lmstudio永遠找不到顯卡的驅動

只不過平時工作的時候需要用win，才會偶而把lmstudio拿出來用。但每次都覺得找不到這個cuda的問題很刺眼，目前家裡的1650 2050 3080 4070 RX6600XT的VULKAN，全都會碰到這個問題

@terry

但偏偏⋯⋯我經常碰到別人都不會碰到的問題⋯⋯

@williamlouis 我不是行業內的從業者，主業是室內空氣品控設備，搞無塵室無菌室相關的。
純粹是因為懂點電腦自己瞎玩的，純小白一枚，正好在一些圈子有點人脈跟人聊聊天會發現，很多你認為理所當然簡單的東西其實很多人都不會，並且都有需求

@Xiaote 提到筆記本，我的筆記本倒是開機沒多久2050就只剩下名稱，其他什麼數據都找不到了

@terry 大佬我回家試試，謝謝你願意讓我當個伸手黨

@terry 問過了，他一直叫我找一個沒有出現的cuda按鈕

@applejuice 我看拼多多上版u分開買好像兩千多人民幣就搞定了

@Max-han 剛拼多多搜了一下epyc, 牛是真牛啊，家裡報廢主機或者回收站隨便掏個八條ddr4內存出來，不敢想像那個內存時脈有多高啊，而且又不貴

@williamlouis

@williamlouis 我下回跟老闆提一嘴，肯定是沒問題，agent時代很多行當有大展身手的地方，只不過有些產業不太適合在牆內做，手腳限制太多

想請教下原因，不知道為什麼運行模型的時候you使用率總是只有一半上下

@David-Zhang 我試過用p4部署，但英偉達驅動已經不讓p4開wddu 了,那時候搞了好久e2b模型吐字才18tps