@gao-Gao 容易的，你叫你的agent帮你部署

@yi-song 说: 如果两个对话同时开，速度会慢，不知道为什么。 往上搜索了，2个对话同时运行的经验贴我都没试出来更好的效果。所以我贴一下我的经验，大家看看有没有提升到空间了。 你要开2个以上对话必须设定并发数，不然只能排队。 "parallel": X （X 是并发会话数，最大 8 ） "--conversation-cache-mib", "8192" 这个参数会让 strata 使用 RAM 来缓存历史对话，从而不让 LLM 反复重新 prefill 老的 session 。增加会话切换时的速度，对于 agent 、harness 场景有奇效。

@exllm 我也是这样觉得

是啊, 所以说要看本质. LLM除了聊天, 是不是还能帮我干活? 快速决策是否能参考人类的 系统1 思考, 加快速度, 降低能量消耗? 我们需要简单, 可靠的集成化产品. 进一步思考一下: 一下代的OS, 是不是就是个AI Agent. 什么文件, app, reminder, 都可以对人类隐藏起来. 而且Agent 需要有 自主性, 它一旦觉得什么重要, 它会主动跟主人说, 或者在已有授权的基础上, 直接去做. 我分享两个muse ai 很好的体验. 我的google calendar里面有女儿的生日, 它会主动提醒我, 并且根据我们之前的对话, 主动提醒我要给买礼物, 还推荐了一本书 <哥德尔, 埃舍尔, 巴赫> 作为礼物. 我新开了一个旁聊, 打算聊一下做一个 智能家具的hub问题, 这是一个新聊天. 它马上把我的所有配置, 家庭环境等都分析了一遍. 这是它之前记住的. 我用hermes 虽然也能实现这两点. 但是第一个例子里, 并不是我提醒它要做的, 也不是cron任务; 第二个例子里, 我要达到同样效果, 我需要花一些精力去维护 hermes的一个四层记忆机制. 而在muse里, 它对我隐藏了. 我强烈建议你去用用muse, 免费的. 每个东西火起来都有原因, 其中有一部分是智商税. 另一部分是它抓住了某个需求, 某个痛点.

好的 感謝解答 我也來試一試。

What You See Is What You Code. : )

@terry 说: @Tony-Wang 试试Git 好, 试一下. 之前部署了一个本地的Git, 主要是跟踪obsidian笔记的版本变化. 没有探索更多的功能.

我就是这个 ROCm 项目的移植者，这个移植基本上要放弃了。涉及内核层的地方 AMD 水太深，不如试试 hipfire。 这个构筑跑 Bonsai2 NInfer v2 的无投机解码也不到 60-70 token/s。 补充一下你测到的长上下文掉速：这版移植的 attention 是 SIMT 逐 key 环，没有 flash-attention 分块，长上下文下 prefill 和生成会随 key 数近似线性退化。这是结构短板，项目已经暂停，不会再修了。 口径说明：上面 60-70 是 Bonsai2 PQ2 工件（2.13 bit）的无投机数字；你测的 AMD 列是官方 v2 工件（Q4/Q5/Q6，20 GB），权重和量化不同，不能直接对表。官方 v2 工件在这版移植上我们只做过短测，nospec 约 34 token/s，长上下文同样受 attention 结构限制。 最新单卡实测（greedy、int8 KV；NInfer 数字取 10 对交错或 3 跑中位，PQ2 工件）： 口径(单卡) t/s 相对主门 103.8 3080Ti 契约(主门来源, serve MTP d2 中文) 103.8 100% 7900XTX 已知最强: PrismML serve ngram 60.69 58.5% 7900XTX llama.cpp 本传(27B 级) 41.7 40.2% NInfer@7900XTX CLI nospec (int8 KV) 65.2 62.8% NInfer@7900XTX CLI MTP d2 (验收 1.81) 45.6 43.9% NInfer@7900XTX serve nospec 57.9 55.8% NInfer@7900XTX serve MTP d2 (验收约 1.77) 40.2 38.7% 几点口径说明： 主门 103.8 来自 3080Ti 的 serve MTP d2 中文，跨卡跨工件，只当标尺用。 同为 7900XTX，hipfire 官方数据 AR 51.63 / MTP 87.52 / DFlash 131.69，但它是 4.458 bpw 工件，我们这套是 2.13 bit 的 PQ2，不是同质量口径，仅供参考。 你测的 64K 638.6 秒、生成 11.7 t/s，和上面的长上下文短板描述一致。

@CHIA-AN-YANG 跟我测的差不多，我的cpu是5900xt，别的硬件跟你差不多，发现 设成0，结果最好。我现在用q4_k_xl，比你的慢一些

不管如何，出Desktop就是对的，但是现在跑它都是在服务器上，模型不在本机，有点鸡肋。Win用户可能觉得好玩，门槛大大降低。

@kop-wang 那你还是没抓住当年的生态啊，记事本完全没有VI，Emacs牛逼，这是顶端存在。用Windows的根本抬不起头。VI，Emacs > 记事本 > NodePad++ Edit Plus > IDE

Ben-Lee 说: @6cccccc 兄弟DeepSeek Flash现在好用不贵，你完全可以试试用DeepSeek先驱动你的本地Agent跑图跑视频。我实际测下来，7900XTX的生图速度，大概是比4080S要慢20%~40%，大多数出图每张也就是慢几秒到十几秒的事儿；比R9700慢一点或者差不多。或者你切换着用，做几个一键启动卸载脚本，27B或者Strata FN（如果你内存够的话）和COMFYUI按需加载，PCI4X16加载和卸载模型也就是几秒的事儿。 我现在就在用DeepSeek Flash 新版本挺不错的，不过有时候还是想折腾一下本地的，之前deepseek有时候会出现不怎么稳定的情况，不知道咋回事。昨天试了一下27B的（用qoder），感觉视觉那块有点问题，不能在读取图片+调用工具。可能得分开用才行。

https://youtu.be/i0URSuBkfCE

@imbiplaza-asus @terry 谢谢两位大佬！我把你们说的丢给 AI 解释了一下，才发现自己绕了一大圈 忘了原来 DSH 官方本来就支持网页访问，我是为了用桌面版那个实例，硬是改配置、抓令牌折腾了一晚上，算是交学费了 hhh 电报的思路我也去试试，丢任务给 7900XTX、跑完直接推送到手机，确实更方便。感谢指点，又学到了！ 🤩