抡锤者

這效能還閹割?? 3萬也是我買不起 這世道真難 自從玩了AI後腦袋都在怎麼想著賺錢買新硬體

https://huggingface.co/fishaudio/drama-3
這語音模型看起來是真的強 能單獨改字發音
但這東西35B.....語音模型花這麼多資源好像怪怪的
但論壇人均pro 6000這點顯存又好像還好

以下AI總結

1. 情緒表現力強
   能依照文字指令呈現悲傷、壓抑的憤怒、強顏歡笑、緊張、低語等情緒，甚至可以在同一句話中途改變情緒。適合戲劇、小說與角色配音。
2. 多角色對話生成
   單次生成就能製作多個角色的對話，每個角色有各自的聲音。官方模型卡標示最多支援 16 個說話者，適合廣播劇、動畫、遊戲與多人對話。
3. 聲音克隆（Voice Cloning）
   可利用參考音訊模仿說話者的音色，讓生成語音保有較一致的角色聲線。適合建立固定的旁白聲音或角色聲音；使用他人聲音時，應取得適當授權。
4. 局部語音編輯
   可以針對特定詞句或音訊片段修改，不必每次都重新生成整段。例如將「星期三」改成「星期四」，盡量維持前後的音色、節奏和銜接。
5. 長篇內容與角色一致性
   針對長篇旁白、有聲書和連續劇情設計，目標是讓角色聲線與表演在長內容中保持連貫，減少分段生成造成的落差。
6. 多語言支援與發音控制
   官方模型卡列出支援 83 種語言，並可使用不同語言撰寫演繹指令。官方公布的發音穩健性基準測試成績為 93.2%，測試涵蓋較難的詞彙、數字與代碼；這是特定基準的結果，不代表所有語言及文本都有相同準確率。

我不期待我買得起 我期待舊的能因此受惠

https://www.intel.com/content/www/us/en/products/details/discrete-gpus/data-center-gpu/d-series.html
理論運算峰值： 1.3 PFLOPS FP8 其他的詳數據我還沒查到
公布的記憶體頻寬：1.5 TB/s
用LPDDR5X 從160GB到最高480GB
Intel 原廠公版：160 GB（配置 20 顆 8GB 顆粒）
ODM/OEM 合作夥伴：最高支援到 480 GB（採用 24GB 顆粒堆疊）
依照LPDDR5X 8.12.16.24的規格，所以中間可能還會有240G跟320G?
似乎單台最高能8卡 480*8=3840
純計算卡臭打遊戲的不能將就了，光柵單元 (ROPs)0 個移除了傳統 3D 繪圖光柵化硬體，純計算加速設計

好了打了那麼多我想說
我就是用A770 16G偶爾玩玩AI 3070打遊戲的屌絲
這A770 跑strata 目前prefill 好像也就1百多(沒記) DECODE也不到15t/s(5600X 48G DDR4) 實在慘
3070看別人玩也有3X t/s多，P100 16G玩的人也有看回報跟3070數據差不多，這就很明顯了3070吃虧在記憶體
那速度差不多的A770 16G怎麼才20不到，這沒道理阿明明效能沒差多少，那我猜多半是驅動問題了
蝦BB這麼多了，本來還在想要不要捨棄這張 A770，現在突然有等看看A770再握一陣子驅動或支援會不會回春的想法了

所以我能理解成花了兩千五不到只要那東西至少有一槽PCIE就能不管甚麼垃圾板就能跑4卡p2p?

老哥您Tesla T10是用甚麼板子裝到4張P2P的? 能不能讓我照抄啊? 我最近想試試3張跑文字模型 還在規劃 純雲
不管說不說 先感謝了

https://github.com/Speedstu/CUDA-for-AMD-Windows
這是一個基於ZLUDA + AMD HIP/ROCm構建的可復現的 Windows CUDA 相容性設定。它適用於面向 CUDA 的計算應用程序，包括使用支援 CUDA 的 LibTorch 的工作負載。
目前該作者只成功在RX 9060XT上使用
但看Pull requests有人成功用GFX1201 ( R9700 )並報告 9070XT可能適用

依照這篇這有沒有機會讓 RX 9060 XT AI跑更快阿?
還是這東西單純的讓AMD有新東西出來時能支援得更快而已?

有沒有大佬有這張卡試試

目前窮人思想只能跑跑Qwen 3.8 27B
跑vllm
mkdir -p /tmp/$USER/flashinfer

apptainer exec --nv
--bind /tmp:/tmp
--home /tmp/$USER
--env FLASHINFER_WORKSPACE_DIR=/tmp/$USER/flashinfer
/tmp/$USER/vllm_box
vllm serve /tmp/$USER/Qwen3.8-27B-FP8
--speculative-config '{"method": "dflash", "model": "/tmp/u2809001/Qwen3.8-27B-DFlash2", "num_speculative_tokens": 7}'
--tensor-parallel-size 2
--trust-remote-code
--enable-auto-tool-choice
--tool-call-parser qwen_25
--gpu-memory-utilization 0.90
--max-model-len 254000
--host 0.0.0.0
--port 8000

低並發下的單請求生成爆發力
02:41:18（18 reqs）：總生成速度 4,181.9 tokens/s，單請求平均約 232 tokens/s。
02:41:28（11 reqs）：總生成速度 3,995.1 tokens/s，單請求平均約 363 tokens/s。
02:41:38（2 reqs）：總生成速度 2,229.7 tokens/s，單請求平均突破 1,114 tokens/s。

以下數據
(APIServer pid=1251807) INFO 09-04 02:43:58 [loggers.py:310] Engine 000: Avg prompt throughput: 232.9 tokens/s, Avg generation throughput: 3247.7 tokens/s, Running: 9 reqs, Waiting: 0 reqs, GPU KV cache usage: 8.1%, Prefix cache hit rate: 4.4%
(APIServer pid=1251807) INFO 09-04 02:43:58 [metrics.py:120] SpecDecoding metrics: Mean acceptance length: 4.63, Accepted throughput: 2546.81 tokens/s, Drafted throughput: 4907.53 tokens/s, Accepted: 25469 tokens, Drafted: 49077 tokens, Per-position acceptance rate: 0.793, 0.650, 0.557, 0.479, 0.427, 0.383, 0.343, Avg Draft acceptance rate: 51.9%
=1251807) INFO 09-04 02:41:18 [loggers.py:310] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 4181.9 tokens/s, Running: 18 reqs, Waiting: 0 reqs, GPU KV cache usage: 15.4%, Prefix cache hit rate: 0.0%

(APIServer pid=1251807) INFO 09-04 02:41:18 [metrics.py:120] SpecDecoding metrics: Mean acceptance length: 3.78, Accepted throughput: 3076.13 tokens/s, Drafted throughput: 7743.48 tokens/s, Accepted: 30761 tokens, Drafted: 77434 tokens, Per-position acceptance rate: 0.770, 0.556, 0.425, 0.344, 0.283, 0.227, 0.175, Avg Draft acceptance rate: 39.7%

(APIServer pid=1251807) INFO: 172.21.103.11:48750 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:48784 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:48796 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:41664 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:36142 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:48782 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:36162 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO 09-04 02:41:28 [loggers.py:310] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 3995.1 tokens/s, Running: 11 reqs, Waiting: 0 reqs, GPU KV cache usage: 10.1%, Prefix cache hit rate: 0.0%

(APIServer pid=1251807) INFO 09-04 02:41:28 [metrics.py:120] SpecDecoding metrics: Mean acceptance length: 4.11, Accepted throughput: 3023.36 tokens/s, Drafted throughput: 6805.33 tokens/s, Accepted: 30237 tokens, Drafted: 68061 tokens, Per-position acceptance rate: 0.808, 0.613, 0.472, 0.391, 0.333, 0.276, 0.216, Avg Draft acceptance rate: 44.4%

(APIServer pid=1251807) INFO: 172.21.103.11:48764 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:36128 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:36192 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:41700 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:48774 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:41688 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:41672 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:36092 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO: 172.21.103.11:48788 - "POST /v1/chat/completions HTTP/1.1" 200 OK

(APIServer pid=1251807) INFO 09-04 02:41:38 [loggers.py:310] Engine 000: Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 2229.7 tokens/s, Running: 2 reqs, Waiting: 0 reqs, GPU KV cache usage: 2.0%, Prefix cache hit rate: 0.0%

(APIServer pid=1251807) INFO 09-04 02:41:38 [metrics.py:120] SpecDecoding metrics: Mean acceptance length: 4.44, Accepted throughput: 1728.68 tokens/s, Drafted throughput: 3512.56 tokens/s, Accepted: 17287 tokens, Drafted: 35126 tokens, Per-position acceptance rate: 0.844, 0.677, 0.538, 0.445, 0.375, 0.311, 0.254, Avg Draft acceptance rate: 49.2%

(APIServer pid=1251807) INFO: 172.21.103.11:41676 - "POST /v1/chat/completions HTTP/1.1" 200 OK

也不算吧 A770 這東西是能多貴 就快樂的垃圾老找東西折騰而已

格不配位 降到500我還是稱它神卡

老哥不知道您A770還在不再 願意借我或賣我折騰 我現在有一張了 但網路上要收第二張真的不容易