<![CDATA[双卡 3090 qwen 3.8-27b dflash2 131k上下文 ，100+ t/s 有大神已经搞出来了？]]>9013f100-a65b-43f7-81d8-4c8b8fc3f8ee-image.jpeg

https://www.reddit.com/r/LocalLLaMA/comments/1vsccit/qwen3827b_on_2x_3090_vllm_dflash2_218_toks_single/

d275f82b-5ab0-470a-8e96-ab666e752ffa-image.jpeg

https://github.com/oceanplexian/vllm/pull/1

感觉变革太快了。比起3.6时代还要疯狂啊！
如果有256K或200K上下文，我都愿意换用它这个方案！

我自己目前是用双卡 qwen 3.8 w4a16的 awq模型，只有66t/s +256K上下文 ，还没机会测试超过131K的上下文。
其实我目前的感觉，没有nvlink的话，100K前还好，过了100K，nccl提供那点带宽就供给不上了，直接导致prefill 速度和生成速度都断崖式下降。

]]>https://lcz.me/topic/1201/双卡-3090-qwen-3.8-27b-dflash2-131k上下文-100-t-s-有大神已经搞出来了RSS for NodeFri, 21 Aug 2026 23:15:23 GMTWed, 19 Aug 2026 15:13:59 GMT60<![CDATA[Reply to 双卡 3090 qwen 3.8-27b dflash2 131k上下文 ，100+ t/s 有大神已经搞出来了？ on Thu, 20 Aug 2026 04:11:58 GMT]]>@stxpnet

我在国外，邮寄需要一个星期多
前两天搞到卖家手上，不知道他们几时才能给回复

现在用着

Item Value
Model Qwen3.8-27B UD-Q4_K_M (16.46 GB, sha256-verified, nextn head present)
Engine llama.cpp b10498-60addddf3, static CUDA sm_86
Context 135,168
KV q8_0 / q8_0
Vision on (mmproj-F16)
MTP draft-mtp, n-max 2
]]>https://lcz.me/post/13026https://lcz.me/post/13026Thu, 20 Aug 2026 04:11:58 GMT<![CDATA[Reply to 双卡 3090 qwen 3.8-27b dflash2 131k上下文 ，100+ t/s 有大神已经搞出来了？ on Thu, 20 Aug 2026 00:25:16 GMT]]>@applejuice 你现在那个卡还没修好吗？ 单卡推理跑什么框架和模型？

]]>https://lcz.me/post/12983https://lcz.me/post/12983Thu, 20 Aug 2026 00:25:16 GMT<![CDATA[Reply to 双卡 3090 qwen 3.8-27b dflash2 131k上下文 ，100+ t/s 有大神已经搞出来了？ on Wed, 19 Aug 2026 16:28:25 GMT]]>我觉得2000prefill 60decode 才是最适合的agent 用. 过了1500prefill 50decode 这条线 我宁愿长上下文 跟 更高准确率

一张卡 我昨天读我的本地文件 结果131k context 压缩了好多次
一张卡prefill 好像最多1000 总共花了50分钟...

]]>https://lcz.me/post/12949https://lcz.me/post/12949Wed, 19 Aug 2026 16:28:25 GMT<![CDATA[Reply to 双卡 3090 qwen 3.8-27b dflash2 131k上下文 ，100+ t/s 有大神已经搞出来了？ on Wed, 19 Aug 2026 15:46:26 GMT]]>这些都是意义不大的特殊场景，实际用到的情况不多。来，回复下我，我来给你第100分，谢谢主人😂，地上有个🧼

]]>https://lcz.me/post/12936https://lcz.me/post/12936Wed, 19 Aug 2026 15:46:26 GMT