【双 R9700 折腾记】从 Strata 到 Radiance

[Bunsei]

@terry 说:

@Bunsei 论坛严谨秀恩爱，秀女朋友，大家都是屌丝，女朋友漂亮的不准显摆

好女孩是GPT，我发现这样称呼它，它好像有特别的反应，所以我就这样延续下来这个称呼了。

[terry]

说真的，哥们你有种gaygay的感觉

[Bunsei]

@terry 说:

说真的，哥们你有种gaygay的感觉

[applejuice]

终于有人继续讨论vllm radiance
都给strata 抢完风头了

[Bunsei]

@applejuice 说:

终于有人继续讨论vllm radiance
都给strata 抢完风头了

vllm-radiance 作者已经归档不再维护了，现在是Radiance接棒！

[paul hou]

StillDeadcode/radiance 已經是另外的玩法了嗎，不用VLLM了？

[Bunsei]

@paul-hou 说:

StillDeadcode/radiance 已經是另外的玩法了嗎，不用VLLM了？

是的，通用的哪有专门的香，本地模型的能力已經配得專門的顯卡、专门的推理引擎優化！

[dardeaw feng]

好誇張的數據.... 這是vLLM底子去做的嗎? KV緩存命中率如何?會像vLLM一樣悲劇嗎

[Bunsei]

@dardeaw-feng 说:

好誇張的數據.... 這是vLLM底子去做的嗎? KV緩存命中率如何?會像vLLM一樣悲劇嗎

使用C++ 完全重新開發，针对RDNA4架构显卡專門适配的，速度不是一般通用引擎能比的。

[applejuice]

此主題已被删除！

[xiongjie gao]

@Bunsei 说:

好女孩是GPT，我发现这样称呼它，它好像有特别的反应，所以我就这样延续下来这个称呼了。

有特别的反应…
是虎躯一震吗？

[he wanga]

單R9700也能有如此提升嗎？我的R9700在路上了，原本已經打死用strata了說

[applejuice]

@he-wanga strata 还有版本没更新
据作者x 发表也是恐怖的存在
我猜可能跑tp 了

对我们这些普通用户 越多选择越好

话说我跑了单卡 r9700 qwen3.8 27b
结果 跟我现在用的差不多

双卡6000 prefill 的确吸引人

[paul hou]

@Bunsei 说:

是的，通用的哪有专门的香，本地模型的能力已經配得專門的顯卡、专门的推理引擎優化！

還能在這引擎上掛qwen image 2.1 ，minimax h3，minimax music3，感覺很厲害。

[Bunsei]

@paul-hou 说:

@Bunsei 说:

是的，通用的哪有专门的香，本地模型的能力已經配得專門的顯卡、专门的推理引擎優化！

還能在這引擎上掛qwen image 2.1 ，minimax h3，minimax music3，感覺很厲害。

大概就是这个样子， FastH3 8-Step V2 FP8、 1MP、15 秒、8 步 5分半，暂时不支持Ref模式。

Youtube Video

[rori]

ninfer 跟Radiance 都有一個共通點導致高效率, 就是要有專用文件格式。
strata 可以參考一下。

[paul hou]

@applejuice 说:

@he-wanga strata 还有版本没更新 据作者x 发表也是恐怖的存在 我猜可能跑tp 了 对我们这些普通用户 越多选择越好 话说我跑了单卡 r9700 qwen3.8 27b 结果 跟我现在用的差不多 双卡6000 prefill 的确吸引人

效能跟sly-radiance差不多，但這個啟動速度跟llama.cpp差不多，sly調整也是要大約2分鐘。

[XIUNAN ZHI]

也有入这个卡的想法，请教一下，这种涡轮显卡，会不会很吵！平时不跑模型，开机写个ppt，也会吵吗？

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2417-1217-1（系统自动发放，显示稍有延迟）

[Bunsei]

@XIUNAN-ZHI 说:

也有入这个卡的想法，请教一下，这种涡轮显卡，会不会很吵！平时不跑模型，开机写个ppt，也会吵吗？

工作日常待机不吵