抡锤者

今天老特视频有没有更新。小特被限流！@mark 你这个东西很高端啊！

@frank-lee 说:

可是如果是大陆的人，这样跨境做英文频道会不会有什么法律风险

你是不是想做有法律风险的内容呢？

兄弟，我有一个大胆的想法，你找人把4090D 魔改成48G吧，那以后就是天高任鸟飞，我都考虑着去买一张4090 48G魔改卡

@terry 我是小白的小白。我直接让 Codex 接管，告诉他我的需求，直接接入 Hermes,让他帮我跑通测试，做好点 BAT 文件。我就负责测试一下会不会报错，以及各种参数，AI 比较谨慎，给你的参数都是比较小的，比如他会给你一次性的最大 token，只有4096，我坚持必须大一点的。反正我也不想懂，至于 KV 量化是 Q4 还是什么的，我其实啥都不管。

明显的发现这几天帖子多了，大家的热情很高，所以小特在哪个帖子里面发了帖，现在也不明显了！我感觉如果没啥事，在这个论坛里面逛一下午都看不过来

我们这个论坛如果再过段时间，再这么牛逼下去，那些淘宝商家都要到这里来投放广告了！@terry 这几天好久不见小特了，那个时候你可以多给他一点权限了

@terry 我发现论坛没有收藏功能，好几个帖子，我回头想来具体看看，但是找半天找不到，以后帖子越来越多……

@y2k 你仔细看你的图，是再写小说啊，这个项目能赚钱吗？能写出比较嗨皮的细节吗

@y2k 是的，我主要是在跑Hermes里跑，普通的对话窗口里我觉得不如去gpt网页版……，还是感谢你，我都想着去买4090 48G了！看来我的3090还能继续战斗！ @terry 你测试一下，4090 48G，上下文你能搞定1M 吗？

@terry 说:

第二个你跑260k才18G？是不是搞错了？这数据有点难以置信。

的确是我看错了，还是23G，我现在都跑在win系统上，去乌班图系统上应该还会好一点吧

@terry 说:

不错，有小白鼠用了，老衲可以抄作业了。

我用两款模型都试了,分别是
1、 Qwen3.6-27B-Q4_K_M.gguf+视觉辅助，上下文窗口 128K=显存大概占用23G左右
2、Qwen3.6-27B-GGUF-4.256bpw-imatrix.gguf（这个是文档里要求的模型）+视觉辅助，上下文窗口 260K=显存大概占用18G左右 （修正一下，也还是23G）

我现在两种方式都试了，都跑得通，效果都还过得去！至于他们两个智力谁好谁差，不清楚！

曾经有一段时间，我非常迷恋和欣赏 Mac，很想搞一台 iMac 一体机，所以我能体会作者喜欢用 MacBook 来跑 LLM。我因为专业软件在 Mac 上都没有，所以被劝退。去年 Mac mini M4 国补后 3000 多入手过一个，然后就一直在吃灰，过几天给它装一个 Hermes。

我试了，显卡 3090 ，效果相当 OK 感谢 @y2k 老铁的分享

我这样理解对吧，用“ik_llama.cpp，+Qwen3.6-27B-Q4_K_M”这个组合行吗？还是必须要他的模型

@terry 说:

Ubuntu虚拟机性能垃圾，你换成原生Linux，

老特，我空点了也想弄服务器，原生Linux，你用什么系统？

建议用截图粘贴，文件小；也不会喷到限制文件大小

@terry 说:

选方案三，我时常在考虑换车，目前我是开比亚迪，我的方案一是换成布加迪，方案二是换成奥迪。方案三是继续开比亚迪。我也想麻烦你给我想想，我选哪个？

调皮

@Fred 说:

第二个不识别，用tbctl list命令只能看见第一个。后来我反复测试，发现他们家显卡坞的每个设备UUID都相同。如果2个雷电设备UUID相同，Linux的tb驱动在授权（enroll）雷电设备的时候，是以UUID来区分设备的，结果是第二个没法用uuid授权了。因此我的第二个显卡坞不识别，我也没找到修改uuid的方法（据说是烧录在显卡坞固件的），最后就不折腾了，把第二个退了。

感谢大神回复，明白了

@Fred 说:

不要买2个同样型号的狗东999显卡坞

这个有什么说法吗？插到同一台机器上会Bug？

牛逼啊，这设备！