最近玩本地AI的一些经验

[Bo Li 0]

家里有3台机器 amd 395 128g 跑halogen 大概50t/s，还有台mac m2 96g 跑strata 大概30几，还有台4080 16g 的32g内存的游戏电脑，昨天装了strata , 不过由于限制只能运行一个量化比较差的模型，居然能到70多，智能方面大内存的两台无敌，基本跟opus看不出差别，我已经用amd 395完成了一个很大的项目，量化差的只用英文交流，稍微次点但也能用。模型都是qwen 3.8 flash next，感觉没有必要再用27b稠密模型了，比较慢

[terry]

以后发帖注意下板块。

[imbiplaza ASUS]

真正让我找钱的反而是codex...不过本地llm的是让我找其他的偏门的钱

但是这个偏门的折腾必须估计回报，长期来说，并不比正的好太多，

比如我在偏得折腾了48小时出来的工作，往后带来的回报也只是每单三位数，等于一个码农的价值

但是正的策划，我帮一个大厂创作一些工程流项目，一单的收入已经是等于偏门的一年所带来的回报

通常，偏门的技术性比较高，但是变现的渠道得面对那些比我更加精得牛鬼蛇神