抡锤者

这下内存是不得不加了。

我怎么感觉像是不同类型测试文本投机解码的影响..我晚上回去也还是看。

越缺什么越喜欢把什么挂在嘴边。

1、可以参考一下这个： https://duanyll.com/2026/7/13/4090-48G-P2P/ 处理好后可以尝试一下TP。
2、 https://hudeqi.github.io/ai-learning-blog/10-vllm-scheduler.html 参见这个文章让gpt给你写一个靠谱点的调度器脚本，来平衡并发的吞吐量（主要是平衡预填充速度，最好增加额外的优先级进行加权调度策略）。
3、你这个配置适合使用Qwen3.8-Flash-Next or DSV4.1，性能更好吞吐量更大。
4、让AI协助你，进行KV缓存的量化测试，单独尝试BF16K-INT8V之类的设置，尝试在不影响实际推理效果的前提下提高并发or上下文的长度。
5、测试投机解码或者DFlash2技术对解码速度的影响。
6、实际使用的时候不要让vllm推理服务直接暴露给客户端，最好再搭建网关or反代。

不过2、3、4都是建立在1的基础上的XD..., 这一套流程下来十几二十路长程代理任务是没问题的。

@williamlouis 说:

苹果 转移 存储采购都被回绝了。
屌丝市场对比苹果的订单，没有任何可比性。

我是我觉得是苹果想拿他去跟美光压价，然后长鑫没理。

@terry 说:

@Bunsei glm未必能活下来，要看它背后的资本愿意怎么动员了，它的名声已经臭了。

好像据说他打算走政企事业单位的路子。如果真能走得通兴许还能苟得住。

最后可能国内llm活下来的可能只有ds qwen glm ， mimo 豆包 混元 那些可能会最终更偏向于内部自家产品用。kimi这个不好评… 我觉得多半最后会凉凉。

@张光璞 说:

测试环境

看到我最期待的环节了～ 不过说实话，我决定后面要换平台了。从am5换成老的epic。

@张光璞 说:

完美，明天装机 双7900XTX

牛呀，到时候可以摸着老哥过河了，可惜论坛不能打赏，要不我指定给整上些大肥鱼的token。

正确率不达标时，速度是没有意义的。只有正确率达标后，再比速度才有价值。正确率上不去即便判断得再快、次数再多，产生的结果也大多是错的，从实际使用角度看，和随机猜差不多，没有可信度。

看了一圈感觉.. 可能 顶配 Mac Studio 才是更好的选择。

@Hao-Wu 这个价格3.4 W ... 再加点直接PRO5000了都...

mark一下。 你第二个问题 “qwen3.8 flash 这个模型需要 CPU 卸载吗”？需要。

@johnnybegood 说:

吹的有点过了， 这个卡， 个人玩玩还行， 其他的。。。

还不是么的钱钱嘛，要不然直接5090、Pro5000、6000了，还用得着折腾ROCm这些嘛

@kos-or 说:

Nvidia RTX遺棄了大VRAM 16G以上的消費級市場, 市場訂單主動湧入 AMD R9700 32G, RX7900 XTX 24G

可惜Intel不争气...

如题，竟然也有大up做这个卡的视频。虽然不知道是不是广告，但R9700我看可能马上要迎来一轮不小的涨价。这张卡现在的热度跟两个月前我刚入坑本地llm的时候简直是一个天一个地。（沾了Qwen3.8-27B、Minimax-H3的光）

视频链接： https://www.bilibili.com/video/BV1KwY967EHm/?share_source=copy_web&vd_source=05652451d2c961c89abcfa8b8c801c8c

我只希望能买得起...

只是为了追求一丝飘渺的掌控感。我本地部署了大模型=我能掌控着AI！

相当于提高了多卡性能，也就是说... 这是利好，给我接着涨！（抖机灵）