跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
E

exllm

@exllm
德高望重
取消关注 关注
关于
帖子
37
主题
2
分享
0
群组
1
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • Qwen3.8 27B Q5_K_M + 7900xtx + DeepSeek Harness实战平均 52 t/s
    E exllm
    LLM讨论区 qwen-27b 7900xtx dsharness

    所有测试都是基于unsloth/Qwen3.8-27B-GGUF

    相同参数跑 Q6_K效果:

    3.24.516.851 I slot print_timing: id  1 | task 0 | prompt eval time =    2188.90 ms /   263 tokens (    8.32 ms per token,   120.15 tokens per second)       
    3.24.516.854 I slot print_timing: id  1 | task 0 |        eval time =  162164.36 ms /  4584 tokens (   35.38 ms per token,    **28.27 tokens** per second)       
    3.24.516.854 I slot print_timing: id  1 | task 0 |       total time =  164353.27 ms /  4847 tokens                                                  
    3.24.516.859 I slot print_timing: id  1 | task 0 |    graphs reused =       1263                                                                    
    3.24.516.862 I slot print_timing: id  1 | task 0 | draft acceptance = **0.86016** ( 3303 accepted /  3840 generated), mean acceptance length =  3.58, acceptance 
    rate per position = (0.934, 0.869, 0.778)
    
    

    UD_Q6_K_XL:

    3.24.218.990 I slot print_timing: id  1 | task 0 |        eval time =  146468.18 ms /  3978 tokens (   36.82 ms per token,    27.16 tokens per second)
    3.24.218.991 I slot print_timing: id  1 | task 0 |       total time =  148616.68 ms /  4240 tokens
    3.24.218.996 I slot print_timing: id  1 | task 0 |    graphs reused =       1109
    3.24.218.999 I slot print_timing: id  1 | task 0 | draft acceptance = 0.84698 ( 2856 accepted /  3372 generated), mean acceptance length =  3.54, acceptance rate per position = (0.924, 0.849, 0.768)
    

  • Qwen3.8 27B Q5_K_M + 7900xtx + DeepSeek Harness实战平均 52 t/s
    E exllm
    LLM讨论区 qwen-27b 7900xtx dsharness

    软硬件配置:

    cpu: AMD Ryzen 5 5600
    RAM: 32GB 3200
    GPU: 7900xtx
    OS: Ubuntu 26.04
    软件 : llama.cpp + vulkan
    版本:

       version: 9737 (67e9fd3b7)
       built with GNU 15.2.0 for Linux x86_64
    

    测试:

    1. llama.cpp 自带webui 创建打飞机游戏
      提示词:
    "Create a complete, fully functional 2D space shooter arcade game inside a single HTML file using HTML5 Canvas, CSS, and vanilla JavaScript.        
    **Requirements:**        
            
    1.  **Canvas & Layout:** Set up a centered 800x600 black canvas with a retro arcade UI showing the current score and remaining lives at the top.        
                
    2.  **Player Ship:** Draw a distinct player ship at the bottom center. Allow smooth movement left and right using the Arrow Keys or A/D keys, constrained within the canvas bounds.        
                
    3.  **Shooting Mechanics:** Pressing the Spacebar should fire a laser projectile upward from the player's position. Implement a brief cooldown between shots.        
                
    4.  **Enemies:** Spawn alien ships or asteroids at random X coordinates along the top, moving downward at varying speeds.        
                
    5.  **Collision Detection:** Write precise collision logic for bullets hitting enemies (destroying both and adding points) and enemies hitting the player or bottom screen (losing a life).        
                
    6.  **Game Loop & States:** Include smooth requestAnimationFrame logic, a 'Game Over' screen, and a 'Restart' button functionality. Clean, well-commented code only."
    

    日志

    1.47.020.662 I slot print_timing: id  1 | task 0 | n_decoded =   5409, tg =  89.47 t/s, tg_3s =  71.71 t/s
    1.47.476.673 I slot print_timing: id  1 | task 0 | prompt eval time =     519.21 ms /   262 tokens (    1.98 ms per token,   504.61 tokens per second)
    1.47.476.677 I slot print_timing: id  1 | task 0 |        eval time =   60909.77 ms /  5440 tokens (   11.20 ms per token,    89.31 tokens per second)
    1.47.476.677 I slot print_timing: id  1 | task 0 |       total time =   61428.98 ms /  5702 tokens
    1.47.476.681 I slot print_timing: id  1 | task 0 |    graphs reused =       1480
    1.47.476.684 I slot print_timing: id  1 | task 0 | draft acceptance = 0.87497 ( 3940 accepted /  4503 generated), mean acceptance length =  3.62, acceptance rate per position = (0.943, 0.875, 0.806)
    
    
    1. 配合 Deepseek Harness 修改QT + C++ 项目 SimulIDE, 使其能在apple silicon上运行,并修改Qt 文本框输入bug

    llama.cpp 日志中的一段

    32.32.489.805 I slot print_timing: id  1 | task 10430 | prompt eval time =   17284.15 ms /  4098 tokens (    4.22 ms per token,   237.10 tokens per second)
    32.32.489.807 I slot print_timing: id  1 | task 10430 |        eval time =    5461.48 ms /   277 tokens (   19.72 ms per token,    50.72 tokens per second)
    32.32.489.808 I slot print_timing: id  1 | task 10430 |       total time =   22745.63 ms /  4375 tokens
    32.32.489.808 I slot print_timing: id  1 | task 10430 |    graphs reused =       9929
    32.32.489.811 I slot print_timing: id  1 | task 10430 | draft acceptance = 0.89333 (  201 accepted /   225 generated), mean acceptance length =  3.68, acceptance rate per position = (0.960, 0.893, 0.827)
    
    

    DSH 摘要:

     63歩ILLM 13m13S・工具週用 2m2s|首token 平均3.8s・52 tok/s|緩存命中98%1輸入 4.4M tok・輸出 29.2K tok
    

    llama.cpp运行参数:

    -t 10 
    -b 512 
    -ub 256 
    --spec-draft-n-max 3 
    --fit off 
    --no-context-shift 
    --metrics 
    --kv-unified 
    --jinja 
    --cache-type-k q8_0 
    --cache-type-v q8_0 
    -fa on 
    --spec-type draft-mtp 
    --ctx-size 131072 
    --parallel 2 
    -ngl -1 
    --host 0.0.0.0 
    --port 8080 
    --chat-template-kwargs {"enable_thinking": true, "preserve_think": false, "reasoning_effort": "medium"} 
    --no-mmap 
    --temp 0.6 
    --top-p 0.5 
    --top-k 15 
    --repeat-penalty 1.0 
    --override-tensor blk\.\d+\.ffn_.*_exps\.=CPU 
    --alias qwen3.8-27b-q5 
    

  • 京东上的’蓝宝石旗舰店’和‘蓝宝石显卡旗舰店’,两个说相互不认识,请教各位从哪里买A卡?
    E exllm
    AI硬件 7900xtx amd

    @coolstar 是的


  • 京东上的’蓝宝石旗舰店’和‘蓝宝石显卡旗舰店’,两个说相互不认识,请教各位从哪里买A卡?
    E exllm
    AI硬件 7900xtx amd

    @coolstar 之前官网是有的, 我下单前查过。

    我仔细看了你的贴图,就是那个天猫店。


  • 京东上的’蓝宝石旗舰店’和‘蓝宝石显卡旗舰店’,两个说相互不认识,请教各位从哪里买A卡?
    E exllm
    AI硬件 7900xtx amd

    tb 那家 “蓝宝石电脑旗舰店” 不要碰, 会发二手卡充新卡, 后来发现 拼夕夕上的旗舰店和这家店发货地址完全一致, 但询问说不认识、没关系😄。 不过拼夕夕发的保真新卡


  • 京东上的’蓝宝石旗舰店’和‘蓝宝石显卡旗舰店’,两个说相互不认识,请教各位从哪里买A卡?
    E exllm
    AI硬件 7900xtx amd

    @coolstar 是的,现在拼多多已经不是价格最低,但是保障最好的, 售后还是京东自营最好。


  • AI初学者,deepseek Harness + LMstudio 的问题
    E exllm
    AI Agent dsharness lmstudio

    新开一个会话,选择“创造模式“ 输入:

    创建一个新的插件: 当会话因为“已达到输出 token 上限”中断时, 自动输入“继续”.
    

    会自动为你编写一个插件并启用

    另外, 修改settings.yaml, 在模型下面修改
    maxTokens:匹配你的模型上下文

    如:

    llm-pi-ai:
      providers:
        llamacpp:
          displayName: Local llama.cpp
          api: openai-completions
          baseURL: 
          compat:
            maxTokensField: max_tokens
          defaultInput: [ text, image ]
          models:
            - id: qwen3.8-27b-q5km
              maxTokens: 143360
    

    compat很重要, 否则DSH不发送maxTokens


  • Qwen3.8 27B Q5_K_M + 7900xtx + DeepSeek Harness实战平均 52 t/s
    E exllm
    LLM讨论区 qwen-27b 7900xtx dsharness

    @terry

    Harness 提示词: 介绍一下“八卦”的来由

    • 冷启动

      • 极简模式:

        Total duration: 16.2 s
        TTFT: 5.20 s
        Generation: 11.0 s
        Throughput: 74.8 tok/s

      • 标准模式:

        Total duration: 20.1 s
        TTFT: 12.3 s
        Generation: 7.78 s
        Throughput: 83.8 tok/s

    • 缓存填满新开会话

      • 极简模式:

        Total duration: 17.1 s
        TTFT: 2.65 s
        Generation: 14.4 s
        Throughput: 65.1 tok/s

      • 标准模式:

        Total duration: 28.1 s
        TTFT: 12.3 s
        Generation: 15.8 s
        Throughput: 61.0 tok/s


  • R9700 32GB 跑 Qwen3.8-27B:llama.cpp Vulkan + MTP 实测与踩坑记录
    E exllm
    LLM讨论区 r9700 qwen-27b llama.cpp

    32G 显存, cache 可以用q8_0, 3.8-27B量化用q4_0很容易在思考阶段死循环,调整repeat-penalty也无法排除, 同样的问题3.6-27B就不会。


  • 你们的7900xtx在跑27b 核心温度高不高?
    E exllm
    LLM讨论区 7900xtx qwen-27b

    夏天限制功率300w,最高75度


  • Qwen3.8 27B Q5_K_M + 7900xtx + DeepSeek Harness实战平均 52 t/s
    E exllm
    LLM讨论区 qwen-27b 7900xtx dsharness

    @terry

    是的,我上下文128k, 如我在一楼写的,修改现有的c++项目(大约 355595行代码),效果很好。 同样的任务比Deepseek flash慢 一半, 结合Harness一次性完成,效果一样。

    在opencode中, DSF 一次完美完成, 本地Qwen需要多次修改。


  • 加3080 20G 还是 7900XTX 24G?
    E exllm
    AI硬件 rtx3080 7900xtx

    我测试过 7900xtx限制功耗 275W 和不限制303W 在输出速度上差别非常小,所以最近天热我都限制275W使用。

    @坤坤 调整一下参数, 我昨天用ud-Q5_K_M 扫描修改一个c++库的潜在bug,并让它写了单元测试, 上下文 140k, 速度和效果都可以。 时长是因为DSH maxTokens 设置和后端不一致导致 中间很多次思考输出中断,修改一致就顺滑了。

    Screenshot 2026-08-25 at 19.45.49.png


  • 网站的 Content Security Policy
    E exllm
    随便聊聊

    @terry GA 用nginx反代一下,国内也可以访问

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组