09-30: 挺不错的swift 1.5 27B模型，思考更少,双3090测试 VLLM PK buun llama!

[kos or]

原版的雷霆思考 不是可以透過Reasoning Efforts 參數調整嗎？效果不好嗎？

[张光璞]

@kos-or 说:

原版的雷霆思考 不是可以透過Reasoning Efforts 參數調整嗎？效果不好嗎？

我自己量化的W8A16 思想就像脱缰的野马

估计是量化过程中伤了神经。

[kos or]

@stxpnet said:

12点08分开始，挑战一下宝塔花园HTML。
做了32分钟，感觉太久了，不想做了，中止，看下它32分钟弄出来的半成品：

網路上有人測試過

GPT6.0-SOL 負責規劃 + Qwen3.8-27B 負責執行 產出時間可以節省7成, 產出品質效果更好

[张光璞]

@kos-or 说:

@stxpnet said:

12点08分开始，挑战一下宝塔花园HTML。
做了32分钟，感觉太久了，不想做了，中止，看下它32分钟弄出来的半成品：

網路上有人測試過

GPT6.0-SOL 負責規劃 + Qwen3.8-27B 負責執行 產出時間可以節省7成, 產出品質效果更好

建美术模型还好，但工业模型全是参数化建模的，理论上来讲更容易才对。

ai本来就擅长干这种一板一眼的事情。

[stxpnet]

@kos-or 大模型带小模型确实不错，但是这样玩多了，资本家会不会发现，然后故意捣乱，或者修改条款呢？

[stxpnet]

现在把opencode接入这个iq4_xs 的双流，看一下写出来的会不会比网页版效果更好。

权重和KV CACHE一样的情况下，做出来的东西都是一个样！

[kos or]

@stxpnet said:

但是这样玩多了，资本家会不会发现，然后故意捣乱，或者修改条款呢

不會 因為大家都對AI 沒興趣, 更何況是要買顯卡 更沒興趣, 又要浪費時間(對沒興趣的大眾來說)
玩地端本地模型折騰 是自我虐待 所以只有極少數的人會這樣使用
Codex Luna 一個月20美元 都用不完了

去大馬路上 問100個人 願意花錢買顯卡玩本機模型的可能不到1個人
我認識一位網頁工程師, 他勉為其難終於買了一張顯卡 5060 Ti 16G
另位一從事自動化的工程師,他只願意使用免費的Gemini, 要買顯卡？免談

[张光璞]

我发现这个框架推理的时候，CPU占用率特别高

[stxpnet]

我反而想让CPU高点都不行。 你的是四卡 异构啊，怎么没试一下tabby api? 我只用buun 跑过双卡 张量并行。

[懒人烘培]

不错，有时间我也在我那个双7900XTX部署一下

[张光璞]

@stxpnet 说:

我反而想让CPU高点都不行。 你的是四卡 异构啊，怎么没试一下tabby api? 我只用buun 跑过双卡 张量并行。

SB了，我是跑的Qwen3.8-flash . 现在准备跑Swift1.5