看看这个项目，我实测qwen3.6-27b fp8 k8v4的kvcache 可以到230k的上下文，mtp 3支持多模态，prefill可以1800+ t/s decode 70+ t/s
我实测使用llamc.cpp 启用nccl的情况下跑qwen3.6-27b q6 q8的kvcahce 可以到400k的上下文池，np为2 mtp 3 prefiil可以到1000t/s , decode可以60t/s
T
tutu
@tutu
-
让你们看看垃圾魔改卡2080ti 的威力 qwen3.6-27b fp8 精度 速度能到 60tokens/s nvlink 连接 -
【经验分享+求助】双卡（3090+3070）混插：Windows vs Ubuntu 跑 Qwen/LTX-Video 性能实测感觉3080 12g性价比会比3070好一些，建议换这个
-
请教一下大神，我的旧电脑如何怎样升级比较合适@nano
内存16Gx2现在闲鱼价格也得800，内存必须加
建议把4060ti卖了，换7900xtx或者3090，显存可太重要了。
cpu换个带核显的，考虑极致的性价比我建议直接买modt平台板U套装，从11代处理器 开始支持vnni 跑向量化和重排序模型cpu就够了，提醒一下模型用int8 的，
gpu满载时桌面操作都卡卡的，因此核显对体验提升很明显，如果用linux命令行的系统，核显依然可以跑个向量化，比如我用的11800h，32eu的核显跑个qwen3-0.8b的向量化还是挺快的，重排序我直接交给cpu，这样我的3090就能放更多的上下文。
你可以参考一下我的贴子https://lcz.me/topic/220/我的ai硬件方案分享/6 -
比较流畅的跑Qwen 3.6 27B 模型本地部署，使用AI PRO R9700，主机怎么配置非要r9700这个卡吗，两个3090也挺好的，这个价格你也可以等等新款macmini m5 pro的芯片的，我是强烈建议苹果m5生态，毕竟噪音和功耗决定你是否想用和敢用
-
关于论坛建设方向以及版主、高积分会员福利可以的，现在闲鱼上卖的太花了，大模型部署标价1.99，搞得好像大模型部署和优化是个人都会似的
-
我的ai硬件方案分享@ezios
2个2080ti 22g可以跑q8或者w8a8以及w8a16的模型，显存是够的，上下文能64k以上，压缩上下文可以到128k
速度方面用27b优化的好也就20t/s，所以我更建议用35b -
我的ai硬件方案分享@lxbs
机器1： 待机70瓦，满载800瓦
机器2：待机80瓦，满载650瓦
机器3：待机45瓦，满载80瓦
网络结构：入户电信千兆宽带，2.5g光猫 接
r66s软路由 接
双2.5g口的wifi7 AP 接
4口2.5g+2口万兆sfp+交换机 接
机器1，2，3
平时用智能插座配合主板上电自动开机使用，我的宽带有公网IP，配置端口转发后可以随时登录不用了就关机，用不上万兆 -
我的ai硬件方案分享机器1：模型推理机
CPU：i5-10600K
主板：技嘉z490 auros pro ax
内存：16+8+8+16
硬盘：东芝xg3 512g + 镁光5100pro 960g
显卡：RTX2080ti 22G X2 nvlink
电源：鑫谷gm1250 atx3.0机器2：模型+智能体混合机
CPU：i7-11800H
主板：铭瑄11800H板U
内存：32+32
硬盘：三星970pro 512g + 英特尔s3610 800G
显卡：RTX3090
电源：先马xp1000 V3机器3：飞牛存储服务器
CPU：i7-7700
主板：华硕b150m-plus-d3
内存：8+8+8+8
硬盘：三星sm961 256g + 东芝mg08 8Tx2 + 西数紫盘4Tx2
电源：鑫谷gp700G 黑金全模组
网卡：扩展rtl8125网卡部署情况
机器1：gpustack ，（qwen3.6-35b-a3b，qwen3-embedding，qwen3-rerank）常驻 ，ragflow，obsidian
机器2：1panel，gpustack，（qwen3.6-27b，comfy-ui ）按需，harmes以及杂七杂八的容器