抡锤者

9 轮 50 步·23206 tok/s 6.5M tok·缓存命中 0%

·23206 tok/s ???是咩一回事?

--model-path …/Qwen3.6-35B-A3B-NVFP4-nvidia
--served-model-name Qwen3.6-35B-A3B-NVFP4
--host 0.0.0.0
--port 8000
--api-key deepseek-harness-key
--trust-remote-code
--quantization modelopt_fp4
--json-model-override-args '{"text_config":{"max_position_embeddings":1048576,"rope_parameters":{…"rope_type":"yarn"…"factor":4.0,"original_max_position_embeddings":262144}}}'
--context-length 1000000
--kv-cache-dtype fp8_e4m3
--mem-fraction-static 0.88
--mamba-full-memory-ratio 0.4
--enable-hierarchical-cache
--hicache-size 24
--hicache-write-policy write_through
--hicache-io-backend kernel
--reasoning-parser qwen3
--tool-call-parser qwen3_coder

現在出字比用deepseek V4.1 flash 仲快 ( 290 轮 3171 步·278 tok/s 1264M tok·缓存命中 97%), V4.1我最快見過346 tok/s
基本上已經不是串流一個個字吐出嚟了，是成編文章吐出嚟

我用Qwen3.6-35B-A3B-NVFP4，唔用Qwen3.8-27B-NVFP4，因為Qwen3.6-35B-A3B-NVFP4夠快，但是快得過份了。唔用Qwen3.8-27B-NVFP4是因為慢同上下文不可以太大上唔到1M

AI max395 筆記本幻X Z13是32GB、64GB 和 128GB 三種，建議直接128GB ，但要留意的是筆記本的功耗可能會比mini pc版本低，如果你打算玩comfyui+h3建議你買铭凡N5 MAX 128GB(AI max395)，铭凡仲有一部是MS-S1，但是考慮動畫素材能比較多，铭凡N5 MAX 128GB是可以裝多硬盤，可以當NAS。再買一部3-5000左右的輕薄電腦出街方便(不出街打機的話)，出街輕薄電腦/手機再用google chrome 遠端控制N5 MAX 128GB(AI max395)做AI工作。如果未來有(AI max395/400)的筆電有USB4 V2，可以同铭凡N5 MAX 128GB用80GBPS(比唔過DGX 的200GB)的數據速度連接行256GB的LLM。
我唔建議用筆電玩AI AGENT，因為AI AGENT是可以行長任務，但筆電的好處是帶得出門，但是合上電腦AGENT任務就停了，而且長任務食電，必須插電用，點帶出門?