Qwen3.6-27B 词元生成速度测试
| 指标 | 值 |
|----------|------------------------|
| 生成词元 | 559 个（全文自然结束） |
| 耗 时 | 13.82 秒 |
| 速 度 | 40.44 tok/s |
比上次的 31 tok/s 还快了一些，可能是因为长上下文下 MTP 的并行预测效率更高。
用MTP版本，速度更快。
包括qwen3.6 27B 和 35B A3B 等模型在这类问题上表现都不好
人工查看当然快，现在其实就是测试模型的智能程度，
如果什么都讲清楚了，就没必要这个ai来做推理判断了。
说明还有改进空间。
实际上是能联网的，用的hermes agent ，
就是反复查询各种网站，给不出结果。
你们也可以用自己的本地模型试试。
问它，查询上一场nba比赛的球队和比分，
这么一个简单问题，本地模型就是很难回答上来。
是因为网络限制吗？
系统ubuntu，26.04
上下文，第1图96k，第3图64k。
因为有些场景根部不需要特别严密和精准的逻辑推理， 只要能在一定范围内把一件事情定性就可以了。
有些简单推理场景下，35B A3B 和27B 达到的效果相同，但是速度差别极大。
有些本地的知识库，35B A3B 计算完只需要17.86s, 完全相同的场景用27B居然要117.06s.
体感差异巨大，所以在这种简单场景下，肯定就选35B了。
只能说各有强项，各有所用吧，根据自己的实际需要来确定用哪个模型。
Q4 KM 速度比Q6K稍微快一点
R9700+ 27B
vllm也能跑通
(
Q6版本， 如果是Q4 速度会更快一些
投机采样 32.8tokens/s
正常模式 约20tokens/s, 忘记拍照了，大约21 左右
我给的数字就是AC端功耗。 实际上我用的时候，满载最大功耗480W ， 待机最低功耗58W。考虑到E5待机比我现在电脑高10W ， E5待机算是70W. 满载算得是550W 。这个数字还是相对靠谱的。 是用功率插座测试得到的实际功耗。r9700的待机功耗非常低。整机加起来才58W。
其实各种模型都装过的， 不下10种， 这个35B A3B跑下来没什么问题，比较流畅。用起来相对够用，简单数学题也都能跑。暂时留下了，其他模型也都还在试， 看哪个好用就留哪个。
估计550W左右， 满载。 待机功耗70w左右。 估计的，r9700我有， E5我也有，但组合在一起没有跑过。
r9700 用Qwen3.6-35B-A3B-UD-Q6_K 没问题，速度还是很快， 96K上下文，速度还是不错。
不搞严格推理，数学计算啥的，不需要全参数模型， A3B一般也够了。
不过多尝试一下模型也没问题
llama下面，vllm配置很麻烦
现在intel要靠着NV吃饭，它有胆子抢NV的饭碗？
用5700G的核显开16G显存都能跑一些小模型。
哈哈
Qwen3.6 35B A3B UD Q6模型
96K上下文缓存，
67.28 token/s
