<![CDATA[7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？]]>7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？是oom之前能跑多大就配多大还是看干什么活？编程和自媒体用哪个数据合适？谢谢

]]>https://lcz.me/topic/2918RSS for NodeMon, 09 Nov 2026 10:07:49 GMTSun, 08 Nov 2026 11:02:56 GMT60<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Mon, 09 Nov 2026 08:08:00 GMT]]>

@Glant-Gao 说:

@kuntask 大佬，请教下，我也是千问3.8 27b, 128k上下文，7900XTX单卡，decode测速只有35-40的样子，请问是优化的问题吗？谢谢。

https://lcz.me/topic/1250/10?_=1794211523592

多搜索

]]>https://lcz.me/post/32136https://lcz.me/post/32136Mon, 09 Nov 2026 08:08:00 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Mon, 09 Nov 2026 05:50:18 GMT]]>@kuntask 大佬，请教下，我也是千问3.8 27b, 128k上下文，7900XTX单卡，decode测速只有35-40的样子，请问是优化的问题吗？谢谢。

]]>https://lcz.me/post/32091https://lcz.me/post/32091Mon, 09 Nov 2026 05:50:18 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Mon, 09 Nov 2026 05:43:03 GMT]]>双卡7900XTX SGlang TP=2, 跑Qwen 3.8 27B,只有128K上下文,chunked-prefill-size 2048,没有开启hicache,能跑4个sub-agent 短链并发.
deepseek说已经最优解,deepseek的建议
1.不开启hicache,开启hicache后TTFT 速度下降.
2.上下文大于128k decode速度下降明显.
3.chunked-prefill-size 4096,模型有 OOM 风险.

]]>https://lcz.me/post/32083https://lcz.me/post/32083Mon, 09 Nov 2026 05:43:03 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Mon, 09 Nov 2026 05:08:45 GMT]]>27b q5量化，上下文可以到256k，不过好久没有折腾了，flash没用过。在等qwen4。

]]>https://lcz.me/post/32075https://lcz.me/post/32075Mon, 09 Nov 2026 05:08:45 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Mon, 09 Nov 2026 03:28:59 GMT]]>@Miraco
大的总比小的好，上下文快满了就要促发压缩机制，肯定会丢失一些东西。

]]>https://lcz.me/post/32045https://lcz.me/post/32045Mon, 09 Nov 2026 03:28:59 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Mon, 09 Nov 2026 03:21:09 GMT]]>双卡7900XTX CPU 2696 V3 128g 320K上下文 perfill 5200左右 长任务执行效果,图是其中一个子代理的效果
image.jpeg

]]>https://lcz.me/post/32037https://lcz.me/post/32037Mon, 09 Nov 2026 03:21:09 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Sun, 08 Nov 2026 14:31:55 GMT]]>@Miraco

如果你都是短链任务, 那么上下文长短对你的任务和速度并无影响.

如果你有长链任务, 那么:

  • 长上下文保持记忆, 任务成功率更高, 代价是随上下文增长, 速度会变慢.
  • 短上下文会更多触发压缩, 记忆受损, 任务有可能跑偏. 好处是速度会变快, 但是压缩一样也会占用时间. 整个任务能快多少不好说.

所以, 我认为, 上下文尽量长一点儿会好. 除非你还有其他应用也要用显存, 否则显存空着也是浪费.

]]>https://lcz.me/post/31959https://lcz.me/post/31959Sun, 08 Nov 2026 14:31:55 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Sun, 08 Nov 2026 14:25:54 GMT]]>x99 t8 ，2696v3 ，ddr3 128G 四通道。 xtx 跑flash q3-xs 256K上下文，dsh agent 大概107 tok/s。
27B xtx 跑不到256K ，我是用9700跑，差不多70-90tok/s。
跑2D 鹈鹕，27B出结果快但要调整才合理。qfn 出结果慢，但准确。刚搭好，还没用。

]]>https://lcz.me/post/31957https://lcz.me/post/31957Sun, 08 Nov 2026 14:25:54 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Sun, 08 Nov 2026 14:23:34 GMT]]>谢谢。和我类似配置。LLM也类似。假如27B改用64K，flash next改为128K表现会更好吗？和128K/262K比编程会有大差别吗？我不知道如何对比。所以问问大家的见解。

]]>https://lcz.me/post/31956https://lcz.me/post/31956Sun, 08 Nov 2026 14:23:34 GMT<![CDATA[Reply to 7900XTX。Qwen 27B 和Flash Next上下文一般用多大的？ on Sun, 08 Nov 2026 13:54:25 GMT]]>我是单7900xtx，e5-2660v4，96G ddr4内存，之前用llama.cpp跑qwen27B，上下文是128K，prefill 1700，decode70tok/s
用strata跑qwen flash next，上下文是262（可以更大，但是就不是原生了），prefill 2800，decode 105tok/s

]]>https://lcz.me/post/31954https://lcz.me/post/31954Sun, 08 Nov 2026 13:54:25 GMT