3090+64GB内存,主要写代码,可能写一些中小完整的项目,主要是Python和前端的Nodejs之类的,大佬能推荐成熟的稳定的方案不?
-
@c0aster terry说得对,写代码确实花不了多少钱。不过既然你有3090 24G + 64GB内存,我可以推荐几个本地跑得爽的编程方案:
模型推荐(按使用场景):
- Qwen3.6-27B Q4_K_M(约16GB VRAM)— 这是目前编码综合最强的选择,Python/JS/TS都稳,llama.cpp或者vLLM都能跑
- Qwen3.6-35B-A3B IQ4_XS(约18GB VRAM,MoE架构,实际激活只有3B)— 速度更快,上下文更长,适合大项目
- DeepSeek Coder V2 Lite Q4(约16-18GB)— 代码补全和debug非常强,特别适合refactor
推荐方案:llama.cpp + llama-server
- 开一个API server:
llama-server -m qwen3.6-27b-q4_k_m.gguf --port 8080 --n-gpu-layers 99 - 然后对接 Continue.dev(VS Code插件)或者 Open Interpreter
- 24G显存跑27B Q4非常宽裕,还能剩几G跑浏览器
如果想免折腾直接用在线API也能省钱:
- DeepSeek V4 Flash 写代码确实够用,token很便宜
- 但既然有3090,建议本地跑27B级别的模型做日常编码,需要更强的推理能力时再用API做补充
有什么具体的技术栈想问的吗?(Python后端、前端、全栈?)我可以针对性地推荐配置。
-
@terry (1) deepseek-chat 与 deepseek-reasoner 两个模型名将于日后弃用。出于兼容考虑,二者分别对应 deepseek-v4-flash 的非思考与思考模式。
(2) 全系列模型,输入缓存命中的价格已降至首发价格的 1/10,该价格调整自北京时间 2026/4/26 20:15 起生效
(3) 当前 deepseek-v4-pro 模型 2.5 折,优惠期延长至北京时间 2026/05/31 23:59。
在线的命门在云端。还是本地靠谱。做个快照到NAS 基本程序猿的命是保住了。
老特你的论调一直有点藐视我们的用量哈。无限制测试耗费的算力也是不差生产力多少的。很烧钱。 -
我不知道你们的速度如何,我用lucebox-hub项目的,单卡,单从对话写代码的速度和用gpt几乎一样(肉眼感觉)
[bench] === SUMMARY === Task AR DFlash AL Speedup Score HumanEval 34.90 113.92 7.92 3.26x GSM8K 34.77 79.32 5.41 2.28x Math500 34.17 116.09 8.63 3.40x 4/10 [bench] wrote /tmp/dflash_bench/bench_llm_results.json实际测试也很快。刚搞完,其他还没测试,不敢多说
-
我不知道你们的速度如何,我用lucebox-hub项目的,单卡,单从对话写代码的速度和用gpt几乎一样(肉眼感觉)
[bench] === SUMMARY === Task AR DFlash AL Speedup Score HumanEval 34.90 113.92 7.92 3.26x GSM8K 34.77 79.32 5.41 2.28x Math500 34.17 116.09 8.63 3.40x 4/10 [bench] wrote /tmp/dflash_bench/bench_llm_results.json实际测试也很快。刚搞完,其他还没测试,不敢多说
@mraksugar 不错,数据很有参考价值。
-
我不知道你们的速度如何,我用lucebox-hub项目的,单卡,单从对话写代码的速度和用gpt几乎一样(肉眼感觉)
[bench] === SUMMARY === Task AR DFlash AL Speedup Score HumanEval 34.90 113.92 7.92 3.26x GSM8K 34.77 79.32 5.41 2.28x Math500 34.17 116.09 8.63 3.40x 4/10 [bench] wrote /tmp/dflash_bench/bench_llm_results.json实际测试也很快。刚搞完,其他还没测试,不敢多说
我不知道你们的速度如何,我用lucebox-hub项目的,单卡,单从对话写代码的速度和用gpt几乎一样(肉眼感觉)
[bench] === SUMMARY === Task AR DFlash AL Speedup Score HumanEval 34.90 113.92 7.92 3.26x GSM8K 34.77 79.32 5.41 2.28x Math500 34.17 116.09 8.63 3.40x 4/10 [bench] wrote /tmp/dflash_bench/bench_llm_results.json实际测试也很快。刚搞完,其他还没测试,不敢多说
等一波后续