人手服务器主板,但可惜都不是最适合跑大模型的
-
看着视频,学着大神的贴子对于“魔改SGLANG支持7900XTX 双卡TP”的坎坷学习路。 -
雙 4080 SUPER 32G + SGLang HiCache 實測:Qwen3.8-27B-FP8,256K context,agent 全程代操(GLM Zcode + GLM 5.3)@applejuice 不止一点点了, 4080s 32g 也 15000+了
-
关于问AI大模型 *洗车* 的问题@王磊 完美。。。。。
-
又下单了一张3090 24G, 但是还是有关于AI硬件的迷惑, 求解… …@terry 那到未必,也可学梭罗,去瓦尔登湖边思考人生。
-
又下单了一张3090 24G, 但是还是有关于AI硬件的迷惑, 求解… …@imbiplaza-ASUS 哈哈哈,看到正经事情也是笑出声了。不过确实道出心声
-
又下单了一张3090 24G, 但是还是有关于AI硬件的迷惑, 求解… …@kop-wang 人没有需求,只是纯玩,就真的跟咸鱼一样么?
-
又下单了一张3090 24G, 但是还是有关于AI硬件的迷惑, 求解… …这两天一系列的事情,让我继3070,3080,3090之后又下单了一个3090, 具体情况,我慢慢道来, 想当年……..
我本人不是学计算机专业的,吃饭的家伙也不是人工智能相关,甚至都不是智能相关,平时一行代码都不用编,只是因为以前父亲的生意跟IT有关,他从小就给我玩Apple II, 286,386 ,486一路玩上来, 但后来因为跟家庭关系的原因,没有走这条路, 只是还保留着对这个东西的兴趣,男人一辈子是少年么。
前几年个人PC上用的 3070 8G, 其实比较早就关注本地跑大模型的事了, 记得很久前就在电脑上跑过机器学习, 用猫猫狗狗的图片进行训练, 然后让电脑识别图片, 判断是猫概率大, 还是狗概率大, 那个时候非常初级, 也是好奇玩玩, 看看什么叫机器学习。
后来GPT大模型火爆,当时只知道需要在线跑,完全不知道本地还能跑模型,直到有一次想在本地弄TTS, 下载了一个整合包, 才知道本地模型的部署和用法。
后来也玩了玩本地RAG,觉得都比较笨,不好用,因为那时候模型都比较小
再后来知道本地跑真正的“大”模型的概念,但是心想我才8G显存,有什么好跑的,所以一直没有在意。
直到有一个关键转折点,某天我用lm studio,把Qwen3.5 35B A3B 跑起来了, 8G显存, 居然也有 1X t/s 的速度, 我突然看到了点希望, 于是下载了一大堆模型试验一下, 但是结果有点失望, 也就是这种专家模型能跑起来, 密集模型都直接装载到 CPU 内存了, 直接干到 0.5-1 t/s 。但是让我看到了可以玩的希望。
于是当时在老特的视频加上一众up主的“忽悠“下, 直接去中关村实地考察,在科贸大厦转了好几家显卡店,最终找到一家门店很大,自己还开维修店的,经营了15年以上的店铺,买了一张3090, 当时价格谈到 5100+50元 , 50 是一年店保的保费, 既然连保费都单算, 说明价格确实打到底了。。。那一阵还纠结过 7900XTX很多天,最中意的一个是 4900的全新未拆封蓝宝石 7900XTX!! 但后来还是觉得CUDA比较重要, 尤其对入门选手来说, 还是n卡生态更有用一些。
就这样把第一张3090带回家,顶着涡轮卡巨大的噪音,很兴奋地测了之前没跑通或者跑的费劲的模型, 一一成功, 甚至 122B A10B 的模型也跑了起来,在20 t/s 左右晃悠,居然能用了! 当时的兴奋溢于言表。
后来就玩各种龙虾,hermes, 各种 xxxxcode , 各种 llama, vllm , 各种新名词 promtp , harness ,loop 新出了什么东西就试试, 玩玩, 跑跑, 看看, 直到前两周觉得24G显存不够了, “我要打更多”, 但3090已经涨价到离谱(相对我当初的购买价), 心理上还是不能接受的, 于是又上了块 3080 20G, sglang跑非对称的张量并行 TP=2, 又看到了新的希望, 尤其是看论坛里几位大神用 3090 nvlink 跑的结果, 照抄作业很成功, 让我蠢蠢欲动, 因为我计算下来, 3080+3090 比 3090 nvlink 要差出去30% , 且这块3090只能当3080用。
正好这两天老特在讲京东自营3090的事, 不管老特实际上说没说过这句话: 但是我听到耳朵里“这是千载难逢的好时机” , 于是又跟之前的显卡店订了一块 3090 。。。 真是头脑一热。 3080也不打算卖了, 准备插到我另外一台电脑去, 弄个远程24小时服务器。
啰哩啰唆说到这, 我的迷思才来到
我到底在做什么?
想当年玩自行车也是, 从2000块的车,被忽悠到8000, 然后20000, 然后 10W+ , 最后一年也骑不了几回,强身健体没看到,却是看到了“贵圈真乱”,到今年二手价格比腰斩还惨,甚至是膝盖斩。
那我现在在做什么?
我不像论坛里面一些大神, 用AI硬件创造价值、产生利润,甚至养家糊口,只是纯爱好,纯好玩, 那会不会最后又像玩其他东西一样, 玩了个寂寞? 可能会有人说,刚玩到3090, 还早着呢, 其实当初玩了3090一阵后,我6w块定了一个哥们的 rtxpro6000, 但是因为种种外部原因卡住了,没有到手,现在并没有因为没有到手而懊悔,而是想起那一刻我反而冷静了。
现在看这AI硬件疯狂的样子, 会不会有点像当初家里积攒食盐一样? 其实并不缺, 全是心理作用呢?
思维越来越混乱了, 也越来越混沌, 就好像跟女骑友在野外深入交流后大脑的空虚。
当你凝视深渊时,深渊也在凝视你。
求解,求叫醒。
-
台灣技嘉 AI Pro R9700 32GB 自取, 手速要快@kos-or 还是顺丰和京东快递靠谱
-
显卡还会继续涨价,穷人会因AI被剥削更多,认知水平和经济现状决定了穷人很难通过AI翻身,但是有机会还是应该扑腾一下!@imbiplaza-ASUS 穷到只能上网看看rolex解解馋哈哈哈
-
小白熬夜瞎折腾、瞎写,后期补齐验收报告,请各位大神指正。同时感谢特哥提供的交流平台🙏🏻🙏🏻🙏🏻@terry 这位道友可能碰到了跟我一样的问题, 发帖后我的时间显示是“8小时后”, 不知道为啥, 应该是时区的问题, 所以刚发完贴, 只能等8小时之后才能修改帖子, 因为“不能修改还未发表的帖子” (未来的帖子)。
-
ROCm 7.14 与 ROCm 10.0:llama.cpp Q8 160K 双卡实测@Bunsei 为啥呢?
-
显卡还会继续涨价,穷人会因AI被剥削更多,认知水平和经济现状决定了穷人很难通过AI翻身,但是有机会还是应该扑腾一下!@applejuice 就这么说吧, 我做过测试, 机箱全关盖子只靠机箱风扇排风, 显卡满载 90度, 打开盖子, 85度, 用风扇对着里面吹 75度, 用大功率暴力风扇吹, 70度。
-
近无损量化 Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf@VS-Studio 试过了, 小显存的小卡玩玩就可以。 对大显存的来说没必要。
-
显卡还会继续涨价,穷人会因AI被剥削更多,认知水平和经济现状决定了穷人很难通过AI翻身,但是有机会还是应该扑腾一下!@applejuice 改水冷要1200, 对于3090来说, 真没必要, 我主要希望他别动不动就撞功耗墙就行了。 看我这个帖子, 你敢信? 温度不高就怪了: https://lcz.me/topic/1241/14
-
显卡还会继续涨价,穷人会因AI被剥削更多,认知水平和经济现状决定了穷人很难通过AI翻身,但是有机会还是应该扑腾一下!@terry 话说, 老特的 4090D 48G 这么长时间用下来, 满载温度一般是多少, 会不会碰功耗墙? 为什么不改个三风扇静音版? 可以降个十几度, 附带降20-30分贝。
刚问完前面的问题突然想起来了, 老特的卡是带京东保修的, 改了就脱保了。
我买的3090店保1年, 现在用了快一年了, 没啥问题, 不等出保我就直接改了, 满载 93度降到 76度, 关键是噪音降了20分贝, 我又能愉快地打游戏了, 开心。
-
昨天出了5090+Pro 6000。@benton-yi 普通人确实用不满 pro 6000, 留着浪费, 不如卖了换4090 48足够
-
颠覆性突破!何恺明团队重磅工作「Drifting Models」革新生成范式:一步推理直接创纪录原文链接带图:
https://www.ofweek.com/ai/2026-02/ART-201700-8330-30681061.html
不知道有没有人研究了这个,漂移模型:
省流简单说, 扩散模型需要20-50步的计算, 它们的新方法 1 步就可以, 理论上比传统扩散模型快 20倍左右,且质量不会下降。 可以想象以后可以边生成编直播了。
有人用处步方法做了一下 测试, 图像和视频生成速度最少也快了 3-4倍, 这还是没有完全优化的情况下。我不是学这个专业的, 一知半解, 如果说的不对请指正。 但是可以看到, 未来AI越来越厉害了。 能做很多我们现在想都不敢想的事情。
作者:Mingyang Deng等
参考文献
[1] Generative Modeling via Drifting
原文标题 : 颠覆性突破!何恺明团队重磅工作「Drifting Models」革新生成范式:一步推理直接创纪录 -
京东自营上架二手3090,标价8699,近期有自建本地AI算力的玩家可以给东哥走个面,单卡或者双卡TP都很有CP值,比7900XTX新卡更好!@rock-shi 年初听老特推荐的时候, 全新蓝宝石7900XTX有4900的, 我盯了好久都没下手, 因为当时AMD生态确实不行, 犹豫再三, 还是买了 3090 , 就为了 CUDA, 当然也幸亏没有犹豫太长时间, 好价真的转瞬即逝。 现在看这两个卡应该是旗鼓相当了, 所以硬件这个东西, 想玩了就赶紧买, 然后就好好玩, 玩的差不多了, 早晚有变化、贬值或者换新的时候, 赶紧玩才是硬道理。
-
京东自营上架二手3090,标价8699,近期有自建本地AI算力的玩家可以给东哥走个面,单卡或者双卡TP都很有CP值,比7900XTX新卡更好!是呀, 我也觉得是, 个人用户, 钱不是太大的问题, 咬咬牙总能上洋垃圾, 3080 3090 7900 , 也不至于穷到这些都上不了, 但是最关键的就是 噪音、功耗、热量, 对个人来说还是得找到这个边界。
-
2x3090 NVLink 王者配置再度进化——SGLang dev507 + DFLASH2 全面复测,并发 249 t/s 新高峰@Don-zhu 我这 3090+3080的奇葩组合Decode都到 199 t/s 了。。。