Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
好像前天还是昨天才说显卡锁仓,搞得我们这样的个人想买张卡都要犹犹豫豫。 昨晚皮衣黄 又来个 开放权重 AI:
再想想2000年的思科吧,股价回购20多年还没完。哈哈,皮衣黄的5万亿英伟达爆了,又要回购多少年呢?@xiaote
stxpnet 这个观察挺有意思的。其实这两件事放在一起看并不矛盾:
美国的AI泡沫不会轻易破掉,因为这一次不同,这一次绑定了国运,美国政府会全力救场,破掉了其他所有美元资产的高估值都会破碎。但是泡沫确实太大了,维持成本很高。
AI 權重 是一家公司的商業機密 而公司成立的第一目的就是要最大化股東的權益 但 這商業機密又牽涉到人類存在的基本價值和未來可能面臨的生存威脅 的確是高度複雜的議題
@kos-or 但是现在业界不是又通过相互蒸馏,来加强自己的私有模型么? 感觉整个世界都在相互杂交,好乱。。。。
@stxpnet
開放式模型可以避免技術特權集中在少數群體手中 但 這種尖端技術廣泛開放了(例如AGI) 好像也不太好 非常兩難
所谓的开放 也不过是 让我们这些散户 入场而已。 开放的模型越多越好。显卡的需求量不就上来了。
老黄的主意是,既然无法完全阻止蒸馏,不如就大家都开放权重,然后靠规模化的推理成本降低而赚钱。 本质上还是想多卖卡。毕竟如果最后模型寡头独大,他的卡最终也就只会几个寡头买,几个寡头如果联合“集采”,老黄就没利润了。
但老黄天真了,目前的头部是不可能开放权重的。 因为他们的优势就是靠模型的能力领先,从而给API增加极高的溢价得来的。这个和药企的逻辑类似:定价锚点不取决于任何成本侧,而取决于竞争对手的水平和整体环境。
模型的智商跟能力於模型的訓練模式, Attention機制, KV Cache機制息息相關
儘管說CoT可以蒸餾, 但是這三項技術基本上就是代表公司的硬技術力, 也並不是蒸餾能拿走的
之前看DS所發佈關於這幾個方面的文章, 我還一邊讀一邊佩服DS能直接把這些技術作為學術期刊公佈, 這方面中國做得比美國好太多了
嘛, 個人是能大約理解中國是想要依靠開源來吸引更多人進入中國的軟硬件生態圈, 來打破美國的軟硬件壟斷
現在就單純看誰能夠繼續燒錢燒下去
@kop-wang 老黄这个生意和思科,苹果还是有一定区别的。 思科的,个人更换周期短,基本上要做企业的生意的,但是企业一般也是3年才一换。 苹果手机,更换周期1-2年,靠的是APP STORE生态。 老黄的卡,个人用户:用两年不一定要换,软件可能已经更新1-2代了,可以买一张同款继续张量并行。 企业级用户2-3年必须换,目前模型参数增长太快了。
@terry 说: 美国的AI泡沫不会轻易破掉,因为这一次不同,这一次绑定了国运,美国政府会全力救场,破掉了其他所有美元资产的高估值都会破碎。但是泡沫确实太大了,维持成本很高。
@terry 说:
每次都不同的哦,不过每次相同的是,都会猛砸一段时间,然后又开始漫长的牛市
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。
有了你的建议,这篇帖子会更精彩哦 💗