09-30: 挺不错的swift 1.5 27B模型，思考更少,双3090测试 VLLM PK buun llama!
-
5天下载量约74K。
号称综合分数超越原版，根治雷霆思考。我看它的形态和noonghunna 的ultrafast档位差不多，所以直接套用那边的启动参数，把模型换成这个。 KV缓存采用INT8量化，双并行，每槽188K上下文. 总可用约400K上下文，但我没有跑完过。
单流的时候每张显卡各占用21.5G左右。用来跑我的报表任务，比以前快了2倍，质量没有下降：
都是单个不到10K TOKEN的任务，所以能爆发峰值 160t/s 左右。
实际报表处理速度达到以前W8A8的1.6倍左右。
用opencode 调用 它来写的小小星球，用时10分钟左右：
提示词：用HTML5创建一个3D小行星地球，玩家可以在上面行走，并且它包含所有这些可以探索的生物群落（biomes），星球不必太大，但走起来依然有趣。故事背景是一个正在露营并四处探索的童子军男孩。游戏要有server.py，启动后随机寻找一个本机的空闲端口作为服务器，并自动从默认浏览器打开让用户试玩总的来说感觉不错。希望尽快有人把它的qwen 3.8 flashnext 移植到 ampere平台。
-
用HTML，WEBGL,three.js或其它你认为合适的技术，创建一座宏伟精美的中国传统九层宝塔，坐落在一座充满东方禅意的中式古典花园中央。花园里有盛开的粉色樱花树、青翠的竹林、清澈的小池塘、弯曲的小石桥和流淌的小瀑布。池面有微波和睡莲，落英缤纷。柔和的阳光透过树叶洒下斑驳的光影，远处有朦胧的山雾，电影级光影，尽可能高的分辨率，极致的细节，唯美，梦幻，中国风,确保构图充满活力、色彩斑斓且视觉效果引人注目。 先规划需求，然后再拆分组件模块，以经典的软件工程思想来完成本项目。12点08分开始，挑战一下宝塔花园HTML。
做了32分钟，感觉太久了，不想做了，中止，看下它32分钟弄出来的半成品：
-
-
-
-
继续测，这是Swift-1.5-Qwen3.8-27B-Uncensored-Dynamic-MTP-UD-IQ4_XS.gguf 13.3G
上游模型为swift 1.5最新版，使用unsloth ud 3.0压缩成。
buun llama.cpp 分支 mtp n max =2
满上下文测出来的，直接在WEBUI上面跑，用时4分52秒。 感觉UD的潜力挺深啊！
从75T左右起步 ，开始写代码的时候就会加速 ，最终82t/s :
262K上下文，单流，带视觉。K V 缓存用双turbo8,实际双卡占用13G+14G 。
下一楼开测Q4_K_XL！ -
buun llama使用的这个提示词，和vllm有一点点差异:
請使用單個獨立的 HTML 文件，編寫一個基於 Three.js 的 3D 体素風格（Voxel Style）「寶塔花園」互動網頁。代碼必須包含完整的 HTML、CSS 和 JavaScript，並且可以直接在 Chrome 瀏覽器中運行。 核心場景要求： 1. 中式寶塔（Pagoda）： 在場景中央建立一座多層（如 5 层或 9 层）的中式寶塔。外觀需具備體素方塊特徵，擁有層層收分的飛簷和寶頂結構。 2. 禪意花園（Garden）： 圍繞寶塔布置花園。包含幾棵盛開的體素粉色櫻花樹、環繞的綠色竹林、一條用方塊鋪成的小徑，以及一個清澈的池塘。 3. 動態水體（Water）： 池塘需有動態的水面微波效果，並設計一個簡單的體素小瀑布，水流有向下的粒子或位移效果。 視覺與交互要求： 1. 動態光影切換： 介面上設計一個按鈕（或自動循環），可在「清晨、正午、日落、深夜」四種晝夜環境光影（Lighting）之間切換，寶塔的窗戶在深夜會發出暖黃色的光。 2. 相機控制： 整合 OrbitControls，允許用戶通過鼠標進行旋轉、縮放和拖拽視角。 3. 代碼規範： 所有 Three.js 庫（包括主庫、OrbitControls 等）請使用穩定且可用的 CDN 鏈接引入。代碼結構清晰，一次性生成完整可運行的單文件，不要使用省略號。 4.先规划需求，然后再拆分组件模块，以经典的软件工程思想来完成本项目。这个分支的思考开关又是坏的，我也懒得弄了。可能是调用的med think档位：
这次使用 Swift-1.5-Qwen3.8-27B-Uncensored-ajgazin-Dynamic-MTP-UD-Q4_K_XL.gguf 16.4GB
双F16 K V缓存，显卡占用,18GB+ 17GB，余量还比较充足！
prefill 584 t/s . 起步70t/s左右 ,这个量化等级比IQ4_XS占用的GPU要大一些，接近100%。 用时5分钟完成：
F16反而翻车，除夜晚外都是一片惨白，而且没有IQ4_XS那么细腻。
还是用双Q8_0再试一下这个GGUF：
占用显存16.6G + 15.5G。中途大概65t/s. 还是5分钟完成，但是效果依然不如iq4_xs. 白光没有处理好.
双turbo8 k v cache 用时4分50秒。:
直接翻车了，只有背景，没有任何物体出现。不测了，最终采纳的启动参数：
sudo prlimit --memlock=unlimited:unlimited --pid $$ killall llama3-server 2>/dev/null; sleep 3 killall llama-server 2>/dev/null; sleep 3 export MTMD_BACKEND_DEVICE=CUDA1 export GGML_CUDA_GRAPH_OPT=1 export CUDA_VISIBLE_DEVICES=0,1 export NCCL_P2P_DISABLE=0 NCCL_SHM_DISABLE=0 /n1/llama2609/buun-llama-cpp/build/bin/llama-server \ -m /n1/Swift-1.5-Qwen3.8-27B-Uncensored-Dynamic-MTP-UD-IQ4_XS.gguf \ --mmproj /n2/mmproj-BF16-swift-1.5-ajgazin.gguf \ -sm tensor -ts 50,50 -ngl 99 -fa on \ --props --ctx-checkpoints 64 \ --fit off --kv-unified -t 16 -tb 16 \ --image-min-tokens 1024 --image-max-tokens 4096 \ -b 8192 -ub 2048 --reasoning-preserve --cache-ram 32384 \ --spec-type draft-mtp --spec-draft-n-max 2 \ -ctk turbo8 -ctv turbo8 \ -c 262144 -np 1 \ --jinja \ --api-key "$(head -1 /home/oakcn/dev/api-key.txt)" \ --alias qwen3.8-27b-mat-awq \ --host 0.0.0.0 --port 8025 -
-
-
-
用HTML，WEBGL,three.js或其它你认为合适的技术，创建一座宏伟精美的中国传统九层宝塔，坐落在一座充满东方禅意的中式古典花园中央。花园里有盛开的粉色樱花树、青翠的竹林、清澈的小池塘、弯曲的小石桥和流淌的小瀑布。池面有微波和睡莲，落英缤纷。柔和的阳光透过树叶洒下斑驳的光影，远处有朦胧的山雾，电影级光影，尽可能高的分辨率，极致的细节，唯美，梦幻，中国风,确保构图充满活力、色彩斑斓且视觉效果引人注目。 先规划需求，然后再拆分组件模块，以经典的软件工程思想来完成本项目。12点08分开始，挑战一下宝塔花园HTML。
做了32分钟，感觉太久了，不想做了，中止，看下它32分钟弄出来的半成品：
-
-
-
-
-
-
-
-
