@terry 之前用n卡就是一直开Turboquant的,但现在看到各种说这卡开Turboquant prefill会严重慢,所以比较关心kv 开到Q4_0到底能稳定开到几k上下文。这两天显卡到了我也实测下
bin flamebox
@bin flamebox
-
分享自己的經驗 # 7900 XTX 本地 LLM 優化實測報告(Qwen3.6-27B) -
分享自己的經驗 # 7900 XTX 本地 LLM 優化實測報告(Qwen3.6-27B)@terry 一开始没有问题,啥都装好了,跑llm一切正常。就是跑了个comfyui后不认驱动了。。。
之前测试过,如果跑llm的话,现在vulkan比rocm好太多了。
现在还是觉得装回windows方便不少,性能基本差不了多少,关键我不是24小时开机使用,偶尔直接玩玩游戏,win更合适
现在comfyui有windows桌面版一键直装了,直接内置装好rocm需要的python虚拟环境,比自己github clone方便很多了