【广而告之】 Strata 在 1个小时 之前刚刚又更新了，性能又有所提升。。。

[张光璞]

amd 加入了双卡支持，已经跑上了

[naniandemeng]

最近本地模型推理框架井喷了呀，百花齐放

[张光璞]

@naniandemeng 说:

最近本地模型推理框架井喷了呀，百花齐放

每天被迫追新，感觉已经背离了当初弄台机协助 自己工作的初心

[kos or]

有官方Anthropic Claude 加入開發，光速迭代
奇怪，Claude為何要協助開發本地推理引擎，無法理解這商業邏輯

[andrewng]

@kos-or 不是官方吧，应该是有人用claude code提交了代码

[simo9052]

新版本加入了reasoning_budget_tokens
不會掉進thinking loop了

[applejuice]

@andrewng 按进去看的确是claude 官方账号

[perter]

@johnnybegood
下载了执行文件strata.exe怎么使用？

[kos or]

@andrewng

現在基本上都是用 agent coding，或許是公司的工讀生在操作帳號
Codex 偷懶 commits 很少

[johnnybegood]

@perter 下载都不用下载， 把这个链接扔到 AI agent里面， 告诉它让它在本机部署就行了。 找个80G以上空闲空间以上的硬盘部署。

[AFK]

此主題已被删除！

[terry]

HaloGen本来想收点钱，发育一波，直接哭晕在厕所。

[张光璞]

@terry 说:

HaloGen本来想收点钱，发育一波，直接哭晕在厕所。

hologen 支持的小主机 495 192G 现在卖 4万多近5万

衬托的苹果都有性价比

[perter]

我的同样RTX5070 64RAM IQ3_XXS 实测最快57 t/s , 达不到62t/s

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2030-363-1（系统自动发放，显示稍有延迟）

[AFK]

想請教 如果只有32G ram 配R9700 32G 是不是只能選用Q1量化的模型

[张光璞]

@AFK 说:

想請教 如果只有32G ram 配R9700 32G 是不是只能選用Q1量化的模型

内存太小了，官方readme里有说和版本权重 需要多少内存+ 显存

[懒人烘培]

等待支持7900XTX双卡

[张光璞]

@懒人烘培 说:

等待支持7900XTX双卡

我就是7900XTX

[topgun2000]

IQ3长上下文可能精度不够，strata能不能支持8bit的weight？