找到个蛮有用的用3090部署本地模型的repo

[Larry Wang]

https://github.com/noonghunna/club-3090

这个repo跟新得蛮快的，最近在用dflash

bash scripts/launch.sh --variant beellama/dflash

准备过两天在进一张3090跑双卡，这个repo也有支持

[566656661]

這個我設立A10G的帖子也有參考過, 但是有部分設定不能直接拿來用,

int8_per_token_head的KV Cache就是其中一個, 不過它的數值參數有寫解釋而不是硬塞, 很有參考價值

[terry]

非常好，感谢分享。可以到这里来看下帖子：
https://lcz.me/topic/398/論-a10g-3090-底下的gemma-4跟qwen-3.6測試心得/16