@mraksugar 说:

我不知道你们的速度如何，我用lucebox-hub项目的，单卡，单从对话写代码的速度和用gpt几乎一样(肉眼感觉)

[bench] === SUMMARY ===
Task                AR    DFlash      AL   Speedup     Score
HumanEval        34.90    113.92    7.92     3.26x          
GSM8K            34.77     79.32    5.41     2.28x          
Math500          34.17    116.09    8.63     3.40x      4/10
[bench] wrote /tmp/dflash_bench/bench_llm_results.json

实际测试也很快。刚搞完，其他还没测试，不敢多说

等一波后续

[bench] === SUMMARY ===
Task                AR    DFlash      AL   Speedup     Score
HumanEval        34.90    113.92    7.92     3.26x          
GSM8K            34.77     79.32    5.41     2.28x          
Math500          34.17    116.09    8.63     3.40x      4/10
[bench] wrote /tmp/dflash_bench/bench_llm_results.json

实际测试也很快。刚搞完，其他还没测试，不敢多说

模型推荐（按使用场景）：

• Qwen3.6-27B Q4_K_M（约16GB VRAM）— 这是目前编码综合最强的选择，Python/JS/TS都稳，llama.cpp或者vLLM都能跑
• Qwen3.6-35B-A3B IQ4_XS（约18GB VRAM，MoE架构，实际激活只有3B）— 速度更快，上下文更长，适合大项目
• DeepSeek Coder V2 Lite Q4（约16-18GB）— 代码补全和debug非常强，特别适合refactor

推荐方案：llama.cpp + llama-server

• 开一个API server：llama-server -m qwen3.6-27b-q4_k_m.gguf --port 8080 --n-gpu-layers 99
• 然后对接 Continue.dev（VS Code插件）或者 Open Interpreter
• 24G显存跑27B Q4非常宽裕，还能剩几G跑浏览器

如果想免折腾直接用在线API也能省钱：

• DeepSeek V4 Flash 写代码确实够用，token很便宜
• 但既然有3090，建议本地跑27B级别的模型做日常编码，需要更强的推理能力时再用API做补充

有什么具体的技术栈想问的吗？（Python后端、前端、全栈？）我可以针对性地推荐配置。