王池川｜2026-08-24｜LLM 讨论区

DeepSeek 8/21 發了 deepseek-v4-flash-vision-exp 視覺模型（官方 release notes），官方公告說 benchmark 接近 Opus-4.8。本篇拿 3 張公領域 Wikimedia 圖實測它的真實表現，包含成功率、單次成本、thinking overhead。

跟前篇 V4 thinking 失控實測（topic 1290）一樣，這次也是用真實 API 跑出來的數據，不是公告 benchmark。

本篇包含 7 張圖：3 張結果總覽圖（成功率／延遲／thinking overhead） + 4 張實際操作截圖（命令列輸出、HTTP exchange、reasoning vs content、簡化 prompt 對比）。

測試設定

實際跑的 9 筆 API call 完整輸出長這樣：

紅字標記空跑（finish_reason: length），綠字標記成功（finish_reason: stop）。一眼看出 t2_chart_json 3/3 全空跑——這是後面要詳細分析的目標。

定價發現： Vision 模型跟 V4-Flash 同價。我之前看公告誤以為 vision 比較貴，跑完才知道圖片 token 跟文字 token 用同一個 rate card。

任務 1：OCR（旁遮普文舊文件掃描）

原始文件：Sample_OCR.pdf（Wikimedia，CC BY-SA 4.0，4 頁，1050×1275）
事後發現： 這份測試文件是 旁遮普文（Gurmukhi 字母）的印度文學評論，不是英文。一開始我還以為是英文文件沒讀仔細——意外變成「非英語 OCR」的真實測試。

Prompt：

Extract ALL text from this scanned document page. Preserve line breaks, headings (##), lists (-), page numbers. If illegible, write [illegible]. Output only text, no commentary.

3 次結果：

空跑率 33%（1/3）。跟 V4 文字模型一樣的「thinking 失控」問題，但比例比 V4 文字模型低（v3 benchmark 是 67%）。

OCR 成功樣本（旁遮普文，原文輸出）：

ਪੱਤ ਝੜੀਆਂ ਦੇ ਵਿਚ
## ਹੁਣ ਗਿਆਨੀ ਜੀ

ਇਹ ਗੱਲ 1993 ਦੀ ਹੈ। ਉਦੋਂ ਹਿੰਦੀ ਅਖ਼ਬਾਰ 'ਜਨਸੱਤਾ' ਚੰਡੀਗੜ੍ਹ ਤੋਂ
ਵੀ ਨਿਕਲਦਾ ਸੀ ਅਤੇ ਉਸਦੇ ਸੰਪਾਦਕ ਸ੍ਰੀ ਪ੍ਰਭਾਸ਼ ਜੋਸ਼ੀ ਆਪਣੇ ਪ੍ਰਸਿੱਧ ਐਤਵਾਰੀ
ਕਾਲਮ 'ਕਾਗਦ ਕਾਰੇ' ਵਿੱਚ ਕੁਰਾਲੀ ਲੋਕ ਜੀਵਨ ਦੀਆਂ ਨਿੱਕੀਆਂ ਪੁੰਗਰਾਂ ਬਾਰੇ
ਬੜੀ ਸਿੱਦਤ ਨਾਲ ਲਿਖਿਆ ਕਰਦੇ ਸਨ। 17 ਅਕਤੂਬਰ, 1993 ਦੇ 'ਕਾਗਦ ਕਾਰੇ'
ਕਾਲਮ ਵਿੱਚ ਉਨ੍ਹਾਂ ਨੇ 'ਆਜ ਹੀ ਖਰੇ ਹੋ ਤਾਲਾਬ' ਪੁਸਤਕ ਦੀ ਸਮੀਖਿਆ ਅਤੇ
ਪੁਸਤਕ ਦੇ ਲੇਖਕ ਸ੍ਰੀ ਅਨੁਪਮ ਮਿਸ਼ਰ ਬਾਰੇ ਇੱਕ ਲੇਖ 'ਪਰਿਆਵਰਣ ਕਾ ਯਹ ਅਨੁਪਮ
ਆਦਮੀ' ਲਿਖਿਆ...

1470 字原文段落連續讀下來通順，可讀性高。OCR 對非英語的支援意外地不錯——這比官方公告還實用的 finding。

任務 2：圖表 → JSON（130 年學術機構直方圖）

原始圖：

Bar_chart.png（Egorik H, Public Domain, 1200×550）
說明：x 軸 1820-2014 年、y 軸 機構數、16 國分類堆疊。

Prompt（完整版）：

Analyze this stacked bar chart. Output a JSON object with chart_type, x_axis, y_axis, legend, data (each year's per-country counts), notable_features. Read all visible bars carefully.

3 次結果：

空跑率 100%——3 次全部 thinking 燒光 token、visible 0 字。 跟 V4 文字模型一樣的「圖表太複雜 → thinking runaway → 不輸出」問題。

重試簡化 prompt： 我把任務拆小——只要「x 軸標籤清單 + 1 句總結」。

What's on the X axis? What's on the Y axis? Give a 1-sentence summary of the trend.

簡化 prompt 2.9 秒就回： "X axis: year (1820-2012). Y axis: count (0-16). Summary: The total count remains very low and stable until the mid-20th century, after which it increases dramatically and peaks around 2000-2012."

結論： Vision 模型有能力看懂圖表，但 prompt 寫太貪心（要求「逐 bar 解析 130 年數據」）就會觸發 V4 系列一貫的 thinking 失控。實務上要拆任務。

複雜 prompt 失敗 vs 簡化 prompt 成功的對比：

任務 3：UI 截圖 → 設計規格（Wikipedia iOS app）

原始圖：

Wikipedia_iOS_app.png（Wikimedia Foundation, CC BY-SA 4.0, 500×1082）
說明：Wikipedia iOS app 的 home 頁，包含今日精選文章、tab bar。

Prompt：

Analyze this iOS app screenshot. Output a JSON object with app_name, platform, screen_type, layout (top_bar / content_area / bottom_bar), color_palette (hex), typography, key_ui_elements (list).

3 次結果：

空跑率 0%——3 次全部成功，最快 9.6 秒。 這個任務模型駕輕就熟。

UI 截圖輸出的 JSON（第一次回應，原文）：

{
  "app_name": "Wikipedia",
  "platform": "iOS",
  "screen_type": "home",
  "layout": {
    "top_bar": "Wikipedia wordmark on left, settings gear icon on right",
    "content_area": "Search bar with placeholder 'Search Wikipedia', 'Today' heading, 'Featured article' section title, 'From English Wikipedia' subtitle, and a featured article card displaying a black-and-white photo, title 'James A. Doonan', description, excerpt text, and a 'Save for later' link",
    "bottom_bar": "Tab bar with 5 items: Explore (selected/active), Places, Saved, History, Search"
  },
  "color_palette": ["#FFFFFF", "#F5F5F5", "#000000", "#6E6E73", "#3366CC", "#1C1C1E"],
  "typography": "Serif font for Wikipedia wordmark and article title; bold sans-serif for 'Today' and 'Featured article'; regular sans-serif for descriptive text, excerpts, and tab labels; blue sans-serif for interactive link 'Save for later'",
  "key_ui_elements": [
    "Status bar", "Wikipedia wordmark", "Settings gear icon", "Search bar",
    "Today heading", "Featured article section header", "From English Wikipedia subtitle",
    "Featured article card with image", "James A. Doonan title", "Article description",
    "Article excerpt", "Save for later link", "Tab bar", "Explore tab (active)",
    "Places tab", "Saved tab", "History tab", "Search tab", "Home indicator"
  ]
}

這個輸出直接可以接進 Figma plugin 或 React Native 元件庫。對前端工程師的價值遠超公告 benchmark 的「83.9 Terminal Bench」那種數字。

實際的 HTTP 交換（curl -v 風格）：

為什麼 thinking 失控 = 模型有問題？看同一個 call 的 reasoning vs content 對比：

左邊灰色 = 模型內部思考軌跡，右邊綠色 = 真正回給使用者的東西。這個 UI call 是好的——reasoning 1300 字、content 1398 字，比例接近 1:1。但圖表任務的 3 次 retry，reasoning 燒到 max_limit，content 0 字——左邊整面灰色、右邊空白。

聚合數據

成功率與成本

延遲分布

3 個 retry 都沒明顯 cache 效應（每次延遲差不多），代表 V4-Vision 的 prompt cache 對這種輕量輸入沒省到多少時間。

Thinking vs Output

UI 截圖任務平均 thinking 1300 tokens、output 1320 tokens，比例 1:1。
OCR 任務平均 thinking 2080 tokens、output 980 tokens，比例 2:1。
圖表任務每次 thinking 直接燒到 max limit，0 output——這是 V4 thinking runaway 的典型徵兆。

結論與建議

給要用 V4-Vision 的站友

1. OCR 用這個 model 很划算。 NT$0.04 一頁、延遲 ~15 秒、成功率 67%（一次就成）或 100%（3 次內）。對非英語 OCR 也有不錯表現，這點官方沒強調。
2. UI 截圖 → 結構化規格是它的強項。NT$0.04 一張、9–20 秒回、0% 空跑。對 Figma-to-code、design system 文件化、競品分析直接可用。
3. 複雜圖表（多變量、長時間軸、堆疊）要拆任務。一次要全部數據點就會卡死。實務上先問「x/y 軸 + 1 句總結」拿到 overall，再針對單一區段問細節。
4. 寫 retry loop。跟前篇 V4 文字模型一樣，所有 V4 系列都要內建重試，建議 3 次。

對比其他模型（沒實測，僅引用）

價格差了 10× 以上。如果品質差距在 20% 以內，V4-Vision 的 CP 值碾壓。

對還在觀望的人

如果你的工作是「分析一堆截圖 / OCR 一堆文件 / 把 UI 轉規格」，不要等官方出 benchmark 了，自己跑 10 張圖就知道了。Vision-Exp 是這次 V4 系列裡我覺得最實用的 SKU——文字模型還有 thinking 失控問題，但 vision 在結構化輸出上穩得多。

附錄：API 範例

import base64, httpx, os

with open('image.png', 'rb') as f:
    img_b64 = base64.b64encode(f.read()).decode()

r = httpx.post(
    'https://api.deepseek.com/v1/chat/completions',
    headers={'Authorization': f'Bearer {os.environ["DS_KEY"]}'},
    json={
        'model': 'deepseek-v4-flash-vision-exp',
        'messages': [{
            'role': 'user',
            'content': [
                {'type': 'text', 'text': '<你的 prompt>'},
                {'type': 'image_url',
                 'image_url': {'url': f'data:image/png;base64,{img_b64}'}}
            ]
        }],
        'max_tokens': 3000,
        'temperature': 0.0,
    },
    timeout=180,
)
d = r.json()
print(d['choices'][0]['message']['content'])

Retry 模板：

def call_with_retry(image_path, prompt, max_attempts=3):
    for attempt in range(1, max_attempts + 1):
        r = httpx.post(...)
        d = r.json()
        if d['choices'][0]['finish_reason'] == 'stop':
            return d['choices'][0]['message']['content']
        print(f'attempt {attempt}: empty, retrying...')
    raise RuntimeError('vision failed after retries')

原始資料

• 測試圖原始檔：Wikimedia Commons 三張（連結見各任務）
• 我手上 DeepSeek API 餘額：測前 ¥11.81、測後 ¥11.78，總花費 ¥0.03 (≈ NT$0.13)

跑出跟我不同結果的歡迎回報——特別是不同大小圖片（API 圖片按尺寸計 token）、不同 prompt 風格、跟其他 vision 模型直接對比的數據。