让本地27B(或任意)模型数学从只有92.7% 准确到工程可靠！可用！

[fcme]

@applejuice
你是多卡狂人，比不了比不了

[applejuice]

@fcme 别笑我了 论讨人手平均一张pro 6000

一开始搞3090 幸好前一个月2 手买到几乎新的1万1 r9700

你现在有几张卡？

[范志刚]

直给直要的工程需求往往不会用多卡做单任务来增加稳定性风险和维护成本@applejuice 需求不同吧，我俩追求的是简单直给的确定性结果，有点臭味相投哈哈

[applejuice]

@范志刚 其实如果可以我也想要单卡
问题是 现在处境有点尴尬

单卡 不够跑大型moe qfn 除非你买6000 pro
双卡跑moe 基本也已经榨干显卡

strata 方案 却只能排队，这时候有另一个模型做子任务就好多了
而且我分拆子任务也是因为一个工作一个检查
不是为了分拆而分拆

[Bunsei]

@applejuice 其实我觉得这个实在不行可以让agent改一下修改一下调度规则。平衡一下各会话的吞吐。

[applejuice]

@Bunsei 其实一开始是差不多一样的
最近strata 3090 都在发挥 突然prefill 就干上去了
造成27b 有点慢 以前27b 这样的速度是爽玩的程度

[fcme]

@applejuice
就两张，一个r9700，一个5070ti（想玩玩视频，但是太忙了，一直没搞）

[范志刚]

就是每个分支任务跟个qc？高级啊!顺巡逻辑树这事其实不用那么大模型，30b框架和填肉足够了，我要速度的时候都用8b跑刮削填肉，他只是框架不够大，没moe会吹大泡，单论执行不比大moe差，甚至更稳，主要是关键时刻能反得回主逻辑树，大moe可能就按他想象跑了@applejuice 模型出厂训练内容少点还能听话点，大不了咱自己给他赋能，垂直领域我是信不过moe的“专家”能力？真犯错就会罗圈错，永远跳不出，除非你就依赖他自己的训练通识内容，那还咋创作了，个人觉得那些通识正是幻觉的来源

[fcme]

@范志刚
对，这个李姐，我是非常赞同的。真正涉及到硬核逻辑或者其他就是通用知识的，真的，哪需要那么大的模型啊。
大学学逻辑的时候，章节是最短的了，我之前刚开始在mac上面玩小模型4b/8b的那种模型的时候就感觉他们逻辑推理是很在线的，只是知识不够。

[范志刚]

举个实例，过去我用qwen3.6 27b送生成词给ltx2.3并推节点工作，他写那个节点推送脚本因为模型里没有过训练，怎么都给我抓ltx20的节点，怎么训怎么存也是这次会了下次必插模型内训练的ltx2.0节点，当时我都要疯了，这还不如没任何训练只执行我写好的脚本，撂爪就忘，抬爪就是模内的淘汰信息，我用了几个月掰他这种幻觉，现在看只能从两点解决，顺从他ltx2.0，或者认输。反而我用3.5 9b感觉教会他容易多了，但他复杂任务格局不够，逻辑宽度不够，做不了复杂树轮询

[fcme]

给模型配skill和我这种做法本质上是一样的，配技能是扩充他的知识库，某个特定方向的知识库或者说固化他的逻辑。而我给他配个计算模块，就是给模型强化计算能力，保证他不出错。从这个意义来讲，这也是某种程度上的moe啊，主干只要保证逻辑ok就行，外挂各种需要的知识或者能力模块。

[fcme]

@范志刚
给他喂说明书，软件的说明书也好，或者其他整理好的操作说明也好，这就属于是知识外挂了。当然如果给他喂了这些知识，他还走偏，那就是模型能力问题了。

[范志刚]

咱们在做的实际就是专家的外化，干嘛用他们雇高中生和外网对超来的数据呢，一个不大不小的逻辑宽度够执行态度严谨的本地稠密模型就够了，当然moe的作用是用来吹打泡泡，也挺好，框架出来了用严谨模给他擦屁股，我就这么干哈哈@fcme

[范志刚]

你说的rag赋能节点返回占位符的事我也遇到了，即使挂qc门控他们也照样绕行，反正我是被杭州那小子伤透了，几个月时间将近一年来趟他的坑，信他们的谎言@fcme