@stxpnet 说:

我反而想让CPU高点都不行。 你的是四卡 异构啊，怎么没试一下tabby api? 我只用buun 跑过双卡 张量并行。

SB了，我是跑的Qwen3.8-flash . 现在准备跑Swift1.5

@stxpnet said:

但是这样玩多了，资本家会不会发现，然后故意捣乱，或者修改条款呢

不會 因為大家都對AI 沒興趣, 更何況是要買顯卡 更沒興趣, 又要浪費時間(對沒興趣的大眾來說)
玩地端本地模型折騰 是自我虐待 所以只有極少數的人會這樣使用
Codex Luna 一個月20美元 都用不完了

去大馬路上 問100個人 願意花錢買顯卡玩本機模型的可能不到1個人
我認識一位網頁工程師, 他勉為其難終於買了一張顯卡 5060 Ti 16G
另位一從事自動化的工程師,他只願意使用免費的Gemini, 要買顯卡？免談

权重和KV CACHE一样的情况下，做出来的东西都是一个样！

@kos-or 说:

@stxpnet said:

12点08分开始，挑战一下宝塔花园HTML。
做了32分钟，感觉太久了，不想做了，中止，看下它32分钟弄出来的半成品：

網路上有人測試過

GPT6.0-SOL 負責規劃 + Qwen3.8-27B 負責執行 產出時間可以節省7成, 產出品質效果更好

建美术模型还好，但工业模型全是参数化建模的，理论上来讲更容易才对。

ai本来就擅长干这种一板一眼的事情。

@stxpnet said:

12点08分开始，挑战一下宝塔花园HTML。
做了32分钟，感觉太久了，不想做了，中止，看下它32分钟弄出来的半成品：

網路上有人測試過

GPT6.0-SOL 負責規劃 + Qwen3.8-27B 負責執行 產出時間可以節省7成, 產出品質效果更好

@kos-or 说:

原版的雷霆思考 不是可以透過Reasoning Efforts 參數調整嗎？效果不好嗎？

我自己量化的W8A16 思想就像脱缰的野马

估计是量化过程中伤了神经。

請使用單個獨立的 HTML 文件，編寫一個基於 Three.js 的 3D 体素風格（Voxel Style）「寶塔花園」互動網頁。代碼必須包含完整的 HTML、CSS 和 JavaScript，並且可以直接在 Chrome 瀏覽器中運行。
核心場景要求：
1. 中式寶塔（Pagoda）： 在場景中央建立一座多層（如 5 层或 9 层）的中式寶塔。外觀需具備體素方塊特徵，擁有層層收分的飛簷和寶頂結構。
2. 禪意花園（Garden）： 圍繞寶塔布置花園。包含幾棵盛開的體素粉色櫻花樹、環繞的綠色竹林、一條用方塊鋪成的小徑，以及一個清澈的池塘。
3. 動態水體（Water）： 池塘需有動態的水面微波效果，並設計一個簡單的體素小瀑布，水流有向下的粒子或位移效果。
視覺與交互要求：
1. 動態光影切換： 介面上設計一個按鈕（或自動循環），可在「清晨、正午、日落、深夜」四種晝夜環境光影（Lighting）之間切換，寶塔的窗戶在深夜會發出暖黃色的光。
2. 相機控制： 整合 OrbitControls，允許用戶通過鼠標進行旋轉、縮放和拖拽視角。
3. 代碼規範： 所有 Three.js 庫（包括主庫、OrbitControls 等）請使用穩定且可用的 CDN 鏈接引入。代碼結構清晰，一次性生成完整可運行的單文件，不要使用省略號。
4.先规划需求，然后再拆分组件模块，以经典的软件工程思想来完成本项目。

这个分支的思考开关又是坏的，我也懒得弄了。可能是调用的med think档位：
这次使用 Swift-1.5-Qwen3.8-27B-Uncensored-ajgazin-Dynamic-MTP-UD-Q4_K_XL.gguf 16.4GB
双F16 K V缓存，显卡占用,18GB+ 17GB，余量还比较充足！
prefill 584 t/s . 起步70t/s左右 ,这个量化等级比IQ4_XS占用的GPU要大一些，接近100%。 用时5分钟完成：

F16反而翻车，除夜晚外都是一片惨白，而且没有IQ4_XS那么细腻。

还是用双Q8_0再试一下这个GGUF：
占用显存16.6G + 15.5G。中途大概65t/s. 还是5分钟完成，但是效果依然不如iq4_xs. 白光没有处理好.

双turbo8 k v cache 用时4分50秒。:
直接翻车了，只有背景，没有任何物体出现。

不测了，最终采纳的启动参数：

sudo prlimit --memlock=unlimited:unlimited --pid $$
killall llama3-server 2>/dev/null; sleep 3
killall llama-server 2>/dev/null; sleep 3
export MTMD_BACKEND_DEVICE=CUDA1
export GGML_CUDA_GRAPH_OPT=1
export CUDA_VISIBLE_DEVICES=0,1
export NCCL_P2P_DISABLE=0 NCCL_SHM_DISABLE=0
/n1/llama2609/buun-llama-cpp/build/bin/llama-server \
 -m /n1/Swift-1.5-Qwen3.8-27B-Uncensored-Dynamic-MTP-UD-IQ4_XS.gguf \
 --mmproj /n2/mmproj-BF16-swift-1.5-ajgazin.gguf \
 -sm tensor -ts 50,50 -ngl 99 -fa on \
 --props --ctx-checkpoints 64 \
 --fit off --kv-unified -t 16 -tb 16 \
   --image-min-tokens 1024 --image-max-tokens 4096 \
 -b 8192 -ub 2048 --reasoning-preserve --cache-ram 32384 \
 --spec-type draft-mtp --spec-draft-n-max 2 \
 -ctk turbo8 -ctv turbo8 \
 -c 262144 -np 1 \
 --jinja \
 --api-key "$(head -1 /home/oakcn/dev/api-key.txt)" \
 --alias qwen3.8-27b-mat-awq \
 --host 0.0.0.0 --port 8025

262K上下文，单流，带视觉。K V 缓存用双turbo8,实际双卡占用13G+14G 。
下一楼开测Q4_K_XL！

12点08分开始，挑战一下宝塔花园HTML。
做了32分钟，感觉太久了，不想做了，中止，看下它32分钟弄出来的半成品：