抡锤者

你好，我有一个疑问想问一下，我看你使用SGLang的t/s表现得应该是比Llama.cpp差很多，为什么你要使用它来启动local LLM呢？ 是它有什么更特别的地方吗？

@566656661 请问一下这个可以识图吗？我目前也是在测试这个模型，速度9x t/s快了一倍，但感觉智力上不及27B，让它改27B写的程式会愈改愈糟，现在是只能拿来聊天用

@kop-wang 我思考的方向是我的Claude code desktop才刚安装设定好,其实没有适配什么功能, 连search WEB的能力都没有, 理论上不应该会比Hermes agent慢才对, 但实际用起来真的太夸张的慢, 我来依楼主的建议换原版未越狱的试试

@koala 原来如此, 我来换个原始模式试试, 谢谢

@koala 请问一下,你的claude code是搭配cc-switch一起使用吗?
我的环境跟你差不多,也是7900xtx+Qwen3.6-27B-MTP , 使用Hermes速度上还能接受,但接上claude code使用的速度简直拉垮~我问它去查一下local LLM trending, 它查了14分钟,我是依照零度的教学设定的,是能用,但速度很惨啊, 是哪边要特别设定或调整吗?

我用它測試我的主機,7900XTX 24GB,說適用QWEN3.6-27B Q5, 我現在用Q4,開機後顯存已經91%,怕Q5會OOM, 有人試過裝Q5的嗎?

@566656661 好,謝謝, 我來試試

@AGI 请问一下你这个模型可以识图吗?我加挂识图,最高只有21t/s

#!/bin/bash
export HIP_VISIBLE_DEVICES=0
export LD_LIBRARY_PATH=/opt/rocm/lib:$LD_LIBRARY_PATH
export PATH=/opt/rocm/bin:$PATH
export ROCM_PATH=/opt/rocm
export HSA_ENABLE_SDMA=0

~/llama.cpp-turboquant-hip/build/bin/llama-server
-m /models/GGUF/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf
--mmproj /models/GGUF/mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf
--alias qwen3.6-27b
--host 0.0.0.0 --port 8000
--n-gpu-layers 999
--ctx-size 151552
--parallel 2
--flash-attn on
--batch-size 3072
--ubatch-size 3072
--threads 16
--image-min-tokens 1024
--threads-batch 16
--temp 1.0
--top-p 0.95
--top-k 20
--min-p 0.00
--presence-penalty 0.5
--cache-type-k turbo3
--cache-type-v turbo3
--mlock
--no-warmup
--log-file /var/log/llama-server.log

@williamlouis 我買二手的,4950元,看來有必要來試試,謝謝

@kylin_Zaki 咦？你这是GPU的温度是吧？那GPU VRAM呢？有监控吗？我的显示93度，是有点吓到我

@williamlouis 是呀，蓝钻白金版，就是看着老特的介绍，不买都感觉遗憾终身，赶紧下单买来玩看看，刚架好2天而已

@williamlouis 什么是加个垫呀？什么又是功耗强？这是我买的第一张GPU显示卡，完全没有概念。 啊，我可以问一下AI，哈哈，打扰了，感谢指引

我指的是GPU上面VRAM的温度，我的GPU是67度摄氏

各位大佬大家好，

问一下，我的机器安装AMD 7900xtx跑本地模型，RAM的温度最高来到93度摄氏，会不会有什么问题呀？我是放在没有冷气的环境，很怕长期下来会烧了。大家的温度都是在哪呀？

@terry 哈哈哈，没事没事，也许是我这个台湾人在词语表达和理解上跟你们有点差距，我也在思考为什么会有差距？明明都是一样github上下载的。也许差距瓶颈在其他硬体，例如主机版、SSD，我的是5-6年前的SATA 256GB老古董了，这应该也是因素之一吧，老特别再推我坑啦，没钱啦

telegram如果有开启tool_progress的话，就会初略显示他正在干什么，细节可能就要调用log，我是嫌他讯息太多，关掉了，你问他，可能也是会骗你，我试过，不准，他都说好，其实都没做，我估计是爆context了

@terry 老特啊，这我不怼你我怼谁？你干嘛火气这么大呢？我完完全全没有酸他的意思呀？还是我写的内容让你误会了？我也是看了你油管的建议买了7900xtx（不得不说，你推广的很棒），我就是个小白，影片看了也是一知半解，对我们这些小白宽容点嘛。我是真的佩服他能搞好，我也希望有一天我学起来了，也可以在这儿分享我踩坑的经验，大哥，消消火啊。 有一说一，还是感谢老特的推荐，买了这张好卡，真的很安静

好厉害呀，一样的配置，差在我的记忆体是32GB，我的只有20 t/s，我昨天刚搞好，在努力让它更完善中。用过云端，这智力还真不习惯啊，一个问题来来回回十几次搞不定，切换到minimax，一次搞定

minimax 再搞了半个小时，现在终于回覆说他成功使用Vulkan跑llama.cpp了，说7900xtx是RDNA3架构，不需要ROCm，他说的对吗？