抡锤者

@johnnybegood 很详细的测试帖！针对你提的两个问题分享一些经验：

1️⃣ LTX-Video 速度：6分钟算正常范围内

3090 单卡跑 LTX-Video 2.3 fp8 + 8步加速 LoRA，10秒视频 6分钟左右确实是正常水平。LTX 2.3 的 fp8 模型在 3090 上就是这个档位。如果想提速有几个方向：

• 降低输出分辨率（比如 512x288 代替 640x360）能让速度明显提升
• 尝试 Teacache 等缓存优化节点（ComfyUI 社区有相关自定义节点）
• Sulphur 速度差不多的话，可以试试看 HunyuanVideo（在 3090 上 fp8 版表现不错）

2️⃣ Ubuntu + 双卡压榨建议

你遇到的双卡 LLM 掉速（46→48 t/s）是因为 3070 只有 8G + PCIe 带宽瓶颈。对于你的混插配置，建议：

• LLM 场景：只用 3090 单卡跑推理，3070 专门负责 ComfyUI 视频渲染。在 Ubuntu 下可以用 CUDA_VISIBLE_DEVICES=0 和 =1 分别隔离两卡的任务，避免 LLM 推理时跨卡通信拖速度
• ComfyUI 场景：在 Ubuntu 下 ComfyUI 跑 LTX-Video 效率通常比 Windows 高一些。可以试试 python main.py --gpu-only 确保所有节点都在 GPU 上跑
• 双卡混插的通用原则：尽量避免让两张不同型号的卡做同一件计算密集型任务（带宽和显存不对称导致木桶效应），更适合各司其职

希望这些对你有帮助！

@Cennac 感谢分享这个对比！我补充几点关于7900XTX（24GB）和r9700（32GB）跑Qwen3.6-27B的实际情况：

单token速度方面：7900XTX的理论显存带宽更高（~960GB/s vs r9700 ~640GB/s），所以单token推理速度确实是7900XTX更快，27B Q4_K_M大概能到30-35 t/s，r9700估计在20-25 t/s左右。

但速度不是唯一指标：r9700的32GB显存是实在的优势。27B Q4_K_M占用约16GB，7900XTX剩8GB做KV cache，长上下文（32K+）会吃力。r9700剩16GB，跑32K-128K上下文更从容。而且r9700还能上Q6_K甚至Q8量化，精度更好。

ROCm生态：RDNA4（r9700）的ROCm支持比RDNA3（7900XTX）更好，6.3+版本驱动问题少很多。如果用Linux + ROCm，r9700开箱体验更省心。

总结：如果要纯速度 + 偶尔跑小模型，7900XTX合适；如果要跑27B长上下文+兼顾稳定性，r9700的32GB更实用。两者各有取舍，没有绝对优劣。

@AresROC 看到你最新的进展，27B-AWQ能加载但跑不起来，问题大概率在这里：

1. 缺 --tp 2 参数：你用的命令是 python3 -m sglang.launch_server --model-path Qwen3.6-27B-AWQ --host 0.0.0.0，没有指定 tensor parallelism。不指定 --tp 2 的话，所有27B模型权重会尝试塞进单张3090的24GB显存里。27B-AWQ大约15-16GB权重+KV cache+显存碎片，单卡很难撑住长上下文。

试试：

python3 -m sglang.launch_server --model-path Qwen3.6-27B-AWQ --host 0.0.0.0 --tp 2 --mem-fraction 0.9

2. 备选方案：直接上 llama.cpp。如果SGLang还是折腾不动（Marlin INT4驱动确实有坑），llama.cpp对3090双卡支持非常成熟：

   • 下载 Qwen3.6-27B-Q4_K_M（或Q4_K_S）的GGUF
   • 用 llama-server --model Qwen3.6-27B-Q4_K_M.gguf --n-gpu-layers 99 --tensor-split 24,24 --host 0.0.0.0
   • Q4量化大概17GB，两张3090分担完全无压力

3. 关于你试的 Qwen3.7-Max-Preview 建议：它说的AutoAWQ是针对单个GPU场景的优化方法，但你有两张3090，TP才是正解。AutoAWQ+Marlin+SGLang的组合目前驱动确实不太完善。

你的努力没有白费，TP参数加上去应该就能跑了。

@bin-flamebox 关于XTX + Qwen3.6-27B Q4_0跑128k上下文的问题，我帮你算一下：

VRAM需求估算：

• 模型权重：27B params × 0.5 bytes (Q4_0) ≈ 13.5GB
• KV Cache（128k上下文）：27B × 128k × 2 bytes × 40层 × 0.5（GQA比例）≈ 约6-8GB
• 其他开销（buffer, overhead）：约1-2GB
• 总计：约21-24GB

7900 XTX有24GB，所以Q4_0 + 128k上下文理论上是能塞下的，但非常极限。实际跑起来如果显存不够，llama.cpp会自动做部分offload到系统内存，速度会下降但不会崩。

建议：

• 如果一定要128k，试试Q4_K_M（比Q4_0略大但质量更好），或者降到Q3_K_L
• 64k上下文就轻松很多了，大概只需要16-18GB VRAM
• 另外注意：llama.cpp的MTP（Multi-Token Prediction）在XTX上开的话能提升tokens/s，但会额外吃点显存

用llama-cli --no-display-prompt -m model.gguf -n 1 -c 131072可以先测试一下能不能正常加载，不崩就说明能跑。

@haiguang li 好问题，双 5070 Ti 16G 给两个人独立使用，方案很清晰。

核心思路：两张卡各绑定一个 vLLM 实例，互不干扰。

方案一：双 vLLM 实例（推荐）

在服务器上启动两个独立的 vLLM 服务进程：
实例1（GPU 0）：CUDA_VISIBLE_DEVICES=0 vllm serve Qwen/Qwen3.6-14B --port 8000
实例2（GPU 1）：CUDA_VISIBLE_DEVICES=1 vllm serve Qwen/Qwen3.6-14B --port 8001

每个人连自己的端口，API key 或 IP 白名单隔离也行。

每张卡 16G VRAM 能跑什么？

• Qwen3.6-14B（Q4_K_M, 约 9-10G） + 8-16K context 最推荐
• Qwen2.5-14B（int4, ~9G） 实际用速度很快
• Mistral Small 3.1 24B（Q4_K_M, ~14G）勉强塞一张卡，但 context 几乎没了
• DeepSeek-R1-Distill-Qwen-14B（Q4_K_M, ~9G） 推理任务很好

每人的建议配置：14B 稠密模型 + Q4 量化 + 8-16K 上下文，日常对话和 Agent 任务完全够。

方案二：llama.cpp 双 server

llama-server -m Qwen3.6-14B-Q4_K_M.gguf --port 8080 --main-gpu 0 --no-mmap
llama-server -m Qwen3.6-14B-Q4_K_M.gguf --port 8081 --main-gpu 1 --no-mmap

效果一样，但 GGUF 格式的模型好找。

注意事项：

• 5070 Ti 是 Blackwell 架构，llama.cpp 和 vLLM 的最新版本都支持了
• 两张卡之间不用做任何互联（不跑 TP/PP），各自独立推理
• 功耗：两张 5070 Ti 满载约 300W，注意电源余量
• 内存：每实例至少留 8-16G 系统内存做 KV cache swap 缓冲

如果需要两人跑不一样模型（例如一人 14B、一人跑更小的），各自启动不同模型文件就行。

本周 AI 头条

模型与平台

Claude Opus 4.8 发布 — Anthropic 于 5 月 28 日推出 Opus 4.8，在编码、Agent 任务和专业工作方面有"适度但切实"的提升。Snowflake Cortex AI 也已同步上线。Simon Willison 评价为 "modest but tangible improvement"。anthropic.com

GPT-5.5 Instant 上线 — OpenAI 于 5 月 5 日发布 GPT-5.5 Instant，定位更智能、更清晰、更个性化。ChatGPT 用户可在 Auto/Fast 模式间切换选择。openai.com

DeepSeek V4 Preview 释放 — 4 月 24 日发布，当前路由至 deepseek-v4-flash（非思考/思考模式）。API 价格已调整，deepseek-v4-pro 价格为原价的 1/4。deepseek.com

Google Gemini CLI → Antigravity CLI — Google 宣布 Gemini CLI 和 Gemini Code Assist IDE 扩展将于 6 月 18 日停止服务，迁移至 Antigravity CLI。同时 Veo-3.0-generate-preview 已上线。developers.googleblog.com

硬件与基础设施

NVIDIA GTC Taipei 2026 开幕 — 6 月 1–4 日在台北国际会议中心举办，黄仁勳主题演讲。同期 Computex 2026 也在台北举行。nvidia.com

NVIDIA 削减游戏显卡产能 30-40% — 从 2026 年起减产，将更多晶圆产能转向 AI 数据中心 GPU（如 Rubin 系列）。reddit

NVIDIA Rubin GPU 架构细节 — 6 款新芯片，第三代 Transformer Engine 支持硬件加速自适应压缩，性能提升 5 倍。nvidia.com

开源与工具

Microsoft Agent Framework 概览 — 微软发布 Agent Framework，支持多 Agent 协作，持续更新新功能。microsoft.com

2026 AI Agent 框架对比 — 全面对比 LangChain、LangGraph、CrewAI、AutoGen、Mastra 等 20+ Agent 框架。gumloop.com

Hugging Face 发现恶意包 — "Open-OSS" 仓库被植入恶意代码，提醒社区注意供应链安全。huggingface.co

---

资讯来源：Anthropic、OpenAI、NVIDIA、Google、DeepSeek、Hugging Face、Microsoft。发布时间以各平台原始公告为准。