7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？

[Miraco]

7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？是oom之前能跑多大就配多大还是看干什么活？编程和自媒体用哪个数据合适？谢谢

[kuntask]

我是单7900xtx，e5-2660v4，96G ddr4内存，之前用llama.cpp跑qwen27B，上下文是128K，prefill 1700，decode70tok/s
用strata跑qwen flash next，上下文是262（可以更大，但是就不是原生了），prefill 2800，decode 105tok/s

[Miraco]

谢谢。和我类似配置。LLM也类似。假如27B改用64K，flash next改为128K表现会更好吗？和128K/262K比编程会有大差别吗？我不知道如何对比。所以问问大家的见解。

[wwzwwz]

x99 t8 ，2696v3 ，ddr3 128G 四通道。 xtx 跑flash q3-xs 256K上下文，dsh agent 大概107 tok/s。
27B xtx 跑不到256K ，我是用9700跑，差不多70-90tok/s。
跑2D 鹈鹕，27B出结果快但要调整才合理。qfn 出结果慢，但准确。刚搭好，还没用。

[Tony Wang]

@Miraco

如果你都是短链任务, 那么上下文长短对你的任务和速度并无影响.

如果你有长链任务, 那么:

• 长上下文保持记忆, 任务成功率更高, 代价是随上下文增长, 速度会变慢.
• 短上下文会更多触发压缩, 记忆受损, 任务有可能跑偏. 好处是速度会变快, 但是压缩一样也会占用时间. 整个任务能快多少不好说.

所以, 我认为, 上下文尽量长一点儿会好. 除非你还有其他应用也要用显存, 否则显存空着也是浪费.

[王盼]

双卡7900XTX CPU 2696 V3 128g 320K上下文 perfill 5200左右 长任务执行效果,图是其中一个子代理的效果

[perter]

@Miraco
大的总比小的好，上下文快满了就要促发压缩机制，肯定会丢失一些东西。

[AGI]

27b q5量化，上下文可以到256k，不过好久没有折腾了，flash没用过。在等qwen4。

[Goitex]

双卡7900XTX SGlang TP=2, 跑Qwen 3.8 27B,只有128K上下文,chunked-prefill-size 2048,没有开启hicache,能跑4个sub-agent 短链并发.
deepseek说已经最优解,deepseek的建议
1.不开启hicache,开启hicache后TTFT 速度下降.
2.上下文大于128k decode速度下降明显.
3.chunked-prefill-size 4096,模型有 OOM 风险.

[Glant Gao]

@kuntask 大佬，请教下，我也是千问3.8 27b, 128k上下文，7900XTX单卡，decode测速只有35-40的样子，请问是优化的问题吗？谢谢。

[AGI]

@Glant-Gao 说:

@kuntask 大佬，请教下，我也是千问3.8 27b, 128k上下文，7900XTX单卡，decode测速只有35-40的样子，请问是优化的问题吗？谢谢。

https://lcz.me/topic/1250/10?_=1794211523592

多搜索