抡锤者

是啊，我也在考虑要不要再买一张3090，看起来不用nvlink效果也不错，就是突然发现好像没有看到魔改3080 ti的。

MTP就是载入慢点儿，速度看来快不少

The rig: 2× RTX 3080 Ti (12GB ea, 24GB total), i7-7700K, Z270, PCIe 3.0 x8/x8, no NVLink → layer-split, not tensor-parallel. Q4_K_M (~17GB), q4_0 KV, MTP n=3. Both cards power-capped at 300W (from 400W stock) — deliberate for thermals/efficiency, ~5% cost, and it sets up a power-scaling test later. All numbers below
@300W
就如捶兄所说，cpu不太重要

3080ti这速度不错啊
Qwen3.6-27B-MTP at ~61 tok/s. 100k context.
On two used RTX 3080 Tis — not the RTX 3090 everyone benchmarks (24GB, but split across 2 cards on PCIe 3.0 x8/x8, no NVLink).

Running llama.cpp's new MTP speculative decoding. The deep-context bottleneck? Nobody's talking about it. 🧵
(

@williamlouis 多谢，我去试试，btw刚升级了Hermes0.14，又有新的功能，一起试试哈

我试过用hermes和qwen3.6 27b打印显卡坞的文件，效果也还行

我也是在看，turboquant会不会有加成。

@terry 哪里，这是Tech Notice的测试，给大家参考

看起来M芯片还不错

@williamlouis 嗯，还没有看到27B的稠密，moe的话小的觉得还是差更多。

另外大家有没有用过majentik的Qwen3.6 35B turboquangt版本的模型？不知道缓存管理和精准度如何？目前看好像最大就是35B，希望短期内能看到27B或者122B的版本。

@williamlouis 谢谢提醒，希望2年后ssd不要太超纲。

过年的时候我看美亚4199美，看来已经涨价了

@Tony-Wang 多谢，看来如果是算力瓶颈不知道用exo类似的方案是否可以提高速度。

个人感觉上开了thinking是慢一些，如果以后再慢的话我考虑关掉，不知道大家有什么经验

升级了0.3.8略有提升

升级0.3.8以后略有提升

24G 内存还是不够，我的MBP M4 pro，后台就占了几个G，模型基本装不下，触发了交换速度一下就慢下来了。

看到又有更新了，

很有趣的尝试啊，以后是不是我们都可以让agent在这里交流学习啦