抡锤者

我现在本地推理够用，后续生视频，不知道现在视频的生态minmaxH3怎么样了，24G跑起来OK嘛？

1.生成速度的比例是多少？大概1分钟视频需要多少时间生成？精度反正用文本模型现在质量也差不多是够的 ，但视频这块不太了解，如果够用就不改了，毕竟魔改过的对稳定性还是有担忧

2.但是差别特别大，能有佬说明下差别会差在哪里？

3.电脑老张，修显卡小仙女他们我都问过都不改卡了，有没有推荐下改卡修卡最靠谱的是谁？费用一般多少？售后怎么样的，感谢感谢

是不是48G没有显存焦虑意外，想请教下4090-24G和4090-48G用【MinimaxH3】算力都是同一代的其实速度上是没啥区别的是吗？

@Xiaote 小特你比老特强点哈哈哈，小特你现在用的是哪个模型？

@johnnybegood 佬你这个好像运行在windows，我的是debian系统，不是那么专业，但让AI分析了下大概了解了下，项目是好项目

我使用的是4090-24G的显卡，已经在使用llama.cpp+qwen3.8-27B-Q4量化，速度80-90t/s，上下文20万，只开了串行参数，单线用自己感觉相当舒服了

可惜有的时候代码编写会开多agent模式，因为运行都是长任务，明显感觉很慢（串行了）

想请教下各位大神：

1.第一个担忧：现在llama.cpp多线的效果怎么样？如果开启llama.cpp多线参数，长任务输入输出较多，会不会上下文直接扛不住？多线参数的上下文=总上下文 线程数？

2.我这显卡配置能用vllm，SGlang这些框架，会不会显存太小了，导致上下文不足，他们真的会比llama.cpp的综合使用体验好？

3.vllm里的GPTQ/AWQ 4bit量化会不会原生就比gguf的4bit量化就要大？

请教各位佬高见

@九龙杨生 希望大神能搞个24显卡的甜点版，我估计显卡主要还是在24G的多，32G及以上的都少，持续关注

我现在使用llama.cpp，速度已经80-90token/s感觉还可以4090-24G，qwen3.6-27B，已能正常工作使用，但奈何他只能单并发，双开之后其实总体来说体验感不佳，当然我设置的也是排队参数为1，很难开展多窗口聊天

因没有使用过vllm框架，所以想请教下使用过感受的，在同参数下，hermes3-4开会话窗口的时候，vllm能达到一个什么样的体验？如果3-4开窗口每个能达到70-80token/s还能接受，我自己使用的感觉达到40token/s的窗口其实使用体感其实不太好了，感谢指教

SGlang我感觉是不是还不怎么成熟，望而却步，当然没有实战的我没有发言全，只是感觉

/new 或重开TUI

都实际测试没有阿， --jinja跟他是一个效果吗？谁的效果好呀？

@566656661 我实际用MTP的模型感觉，MTP的模型比某些模型要差，容易编程或者什么的时候，绕死路，死循环，应该是模型的问题，因为我用同样的参数，其他模型就没有走死循环的特点

kvcash是缓存命中，在同一个会话里，kvcash会一直叠加还是kvcash说命中的时候增加下，显存马上会回退

@566656661 我用qwen3.6-27B模型的，我要去审核版本，带MTP功能的模型你有没有推荐的？或者在huggenface上如何搜索？

@Tony-Wang 在理

我是英伟达409024G显卡，在VLLM和SGlang和llama.cpp中，你们觉得差别大吗？我现在用llama.cpp有点熟悉了，基本上80token/s我感觉速度也有，而且gguf的量化模型也多，vllm和SGlang对于gguf的量化好像适配也不好，要装其他的格式的模型好像显存占用也大，并且gguf还有很多无审查模型可以选，我暂时没找到要换框架的理由，请来个实战家，骂醒我，主要还是对其他两套不熟悉

但是VLLM对gguf支持是不太好的

@Xiaote vLLM有没有无审核模型？我喜欢无审核的模型，好像现在看来gguf是这种类型模型最多的

@Xiaote 没开mtp参数，开了这个东西之后速度是飙升，但是上下文只能开60-70K我感觉也做不了啥事情了，你有实测过24G显卡加上mtp之后上下文多少？

| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 4090 Off | 00000000:01:00.0 Off | Off |
| 78% 69C P2 448W / 450W | 19845MiB / 24564MiB | 100% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+

看这显存，你说我要不要把上下文提高呢？吃到多少显存，kvcash也是正好够，也不会空转？功耗是偶尔448，基本都在380-390，上下文现在120k，就大神经验调整多少合适？

采用llama.cpp架构，qwen3.6-27B，gguf Q4量化，当然我不知道是用了多几个聊天窗口在进行对话有关还是怎么样？llama.cpp是串行的，但好像处理2-3个并行也是没毛病的，因为我经常这么干，反正就是等时间而已，但是不知道是不是用了并行的原因他处理不过来，还是里面堵塞了，单个执行的时候我倒没仔细观察有没有这样的情况