Qwen3-ASR-0.6B实战教程PrometheusGrafana服务指标监控看板1. 引言为什么你的语音识别服务需要一个监控看板想象一下这个场景你刚刚部署了Qwen3-ASR-0.6B语音识别服务它运行得很顺利用户上传音频文件系统快速返回转录结果。但突然有一天用户开始抱怨“服务响应太慢了”或者“转录结果出错了”。你登录服务器手忙脚乱地查看日志、检查进程状态却很难快速定位问题到底出在哪里——是GPU内存不足是并发请求太多还是音频文件格式有问题这就是为什么我们需要一个服务指标监控看板。它就像给语音识别服务装上了“仪表盘”让你一眼就能看到服务健康状态服务是否正常运行GPU是否可用性能指标平均响应时间是多少并发处理能力如何资源使用情况GPU内存用了多少CPU负载高不高业务指标今天处理了多少音频文件成功率是多少在本教程中我将带你一步步搭建一个基于PrometheusGrafana的完整监控系统专门为Qwen3-ASR-0.6B语音识别服务设计。即使你之前没有接触过监控系统也能跟着完成最终得到一个直观、实用的监控看板。2. 监控系统架构设计2.1 整体架构图在开始动手之前我们先了解一下整个监控系统的架构。这样你就能明白每个组件的作用以及它们是如何协同工作的。用户请求 → Qwen3-ASR服务 → 暴露指标 → Prometheus采集 → Grafana展示 ↑ ↑ ↑ ↑ ↑ │ │ │ │ │ 业务处理 生成日志 指标端点 定时拉取 可视化看板各组件分工明确Qwen3-ASR服务我们的核心语音识别服务负责处理音频转录Prometheus监控数据采集和存储系统定时从服务拉取指标Grafana数据可视化平台将枯燥的数字变成直观的图表监控脚本我们编写的Python脚本负责收集服务指标并暴露给Prometheus2.2 需要监控的关键指标针对语音识别服务的特点我们需要重点关注以下几类指标1. 服务健康指标服务是否存活up/downGPU是否可用模型是否加载成功2. 性能指标请求响应时间从接收到返回的时间并发请求数请求成功率/失败率3. 资源使用指标GPU内存使用量CPU使用率系统内存使用情况4. 业务指标处理的音频文件总数按语言分类的请求数文件大小分布3. 环境准备与监控脚本编写3.1 检查现有环境首先确保你的Qwen3-ASR服务已经正常运行。按照之前的使用说明服务应该部署在/root/qwen3-asr-service/目录下。# 进入服务目录 cd /root/qwen3-asr-service # 检查服务状态 supervisorctl status qwen3-asr-service # 检查WebUI是否可访问 curl -I http://localhost:8080如果服务正常运行你会看到类似这样的输出qwen3-asr-service RUNNING pid 12345, uptime 1:23:453.2 编写监控指标收集脚本我们需要创建一个监控脚本它会定期收集服务指标并通过HTTP端点暴露给Prometheus。在/root/qwen3-asr-service/scripts/目录下创建monitor_metrics.py文件#!/usr/bin/env python3 Qwen3-ASR服务监控指标收集脚本 暴露Prometheus格式的指标供采集 import time import psutil import subprocess import requests from datetime import datetime from prometheus_client import start_http_server, Gauge, Counter, Histogram import threading # 定义Prometheus指标 # 服务健康指标 SERVICE_UP Gauge(qwen3_asr_service_up, 服务是否正常运行) GPU_AVAILABLE Gauge(qwen3_asr_gpu_available, GPU是否可用) MODEL_LOADED Gauge(qwen3_asr_model_loaded, 模型是否加载成功) # 性能指标 REQUEST_DURATION Histogram(qwen3_asr_request_duration_seconds, 请求处理时间分布, buckets[0.1, 0.5, 1.0, 2.0, 5.0, 10.0]) REQUEST_TOTAL Counter(qwen3_asr_requests_total, 总请求数) REQUEST_SUCCESS Counter(qwen3_asr_requests_success, 成功请求数) REQUEST_FAILURE Counter(qwen3_asr_requests_failure, 失败请求数) # 资源指标 GPU_MEMORY_USED Gauge(qwen3_asr_gpu_memory_used_gb, GPU内存使用量(GB)) GPU_MEMORY_TOTAL Gauge(qwen3_asr_gpu_memory_total_gb, GPU总内存(GB)) CPU_USAGE Gauge(qwen3_asr_cpu_usage_percent, CPU使用率(%)) MEMORY_USAGE Gauge(qwen3_asr_memory_usage_mb, 内存使用量(MB)) # 业务指标 AUDIO_FILES_TOTAL Counter(qwen3_asr_audio_files_total, 处理的音频文件总数) AUDIO_FILES_BY_LANG Counter(qwen3_asr_audio_files_by_language, 按语言分类的音频文件数, [language]) AUDIO_FILE_SIZE Histogram(qwen3_asr_audio_file_size_mb, 音频文件大小分布(MB), buckets[1, 5, 10, 50, 100]) class Qwen3ASRMonitor: def __init__(self, service_urlhttp://localhost:8080): self.service_url service_url self.last_health_check None def check_service_health(self): 检查服务健康状态 try: response requests.get(f{self.service_url}/api/health, timeout5) if response.status_code 200: data response.json() # 更新健康指标 SERVICE_UP.set(1) GPU_AVAILABLE.set(1 if data.get(gpu_available, False) else 0) MODEL_LOADED.set(1 if data.get(model_loaded, False) else 0) # 更新GPU内存指标 gpu_memory data.get(gpu_memory, {}) GPU_MEMORY_USED.set(gpu_memory.get(allocated, 0)) GPU_MEMORY_TOTAL.set(gpu_memory.get(cached, 0)) self.last_health_check datetime.now() return True else: SERVICE_UP.set(0) return False except Exception as e: print(f健康检查失败: {e}) SERVICE_UP.set(0) return False def collect_system_metrics(self): 收集系统资源指标 # CPU使用率 cpu_percent psutil.cpu_percent(interval1) CPU_USAGE.set(cpu_percent) # 内存使用 memory psutil.virtual_memory() MEMORY_USAGE.set(memory.used / 1024 / 1024) # 转换为MB # 尝试获取GPU信息如果有NVIDIA GPU try: result subprocess.run([nvidia-smi, --query-gpumemory.used,memory.total, --formatcsv,noheader,nounits], capture_outputTrue, textTrue) if result.returncode 0: gpu_info result.stdout.strip().split(,) if len(gpu_info) 2: # 如果服务健康检查没有提供GPU信息这里补充 if GPU_MEMORY_USED._value.get() 0: GPU_MEMORY_USED.set(float(gpu_info[0]) / 1024) # MB转GB if GPU_MEMORY_TOTAL._value.get() 0: GPU_MEMORY_TOTAL.set(float(gpu_info[1]) / 1024) # MB转GB except: pass # 没有GPU或nvidia-smi不可用 def simulate_request_metrics(self): 模拟请求指标实际部署时应从日志或中间件获取 # 这里模拟一些请求数据 # 实际部署时应该在FastAPI应用中添加中间件来记录这些指标 # 模拟请求处理时间 import random duration random.uniform(0.1, 3.0) REQUEST_DURATION.observe(duration) # 模拟请求成功/失败 if random.random() 0.95: # 5%的失败率 REQUEST_FAILURE.inc() else: REQUEST_SUCCESS.inc() REQUEST_TOTAL.inc() # 模拟音频文件处理 AUDIO_FILES_TOTAL.inc() # 模拟语言分布主要语言 languages [Chinese, English, Cantonese, Japanese, Korean] lang random.choice(languages) AUDIO_FILES_BY_LANG.labels(languagelang).inc() # 模拟文件大小 file_size random.uniform(0.1, 50.0) # 0.1-50MB AUDIO_FILE_SIZE.observe(file_size) def run_monitoring(self): 运行监控循环 while True: # 检查服务健康 self.check_service_health() # 收集系统指标 self.collect_system_metrics() # 模拟请求指标实际部署时应替换为真实数据收集 self.simulate_request_metrics() # 每10秒收集一次 time.sleep(10) def main(): # 启动Prometheus指标服务器端口9091 start_http_server(9091) print(监控指标服务器已启动端口: 9091) print(指标地址: http://localhost:9091/metrics) # 创建监控实例 monitor Qwen3ASRMonitor() # 启动监控循环 monitor.run_monitoring() if __name__ __main__: main()3.3 安装依赖并启动监控脚本首先安装必要的Python包# 进入服务目录 cd /root/qwen3-asr-service # 安装监控依赖 pip install prometheus-client psutil requests # 给脚本执行权限 chmod x scripts/monitor_metrics.py为了方便管理我们创建一个Supervisor配置来管理监控脚本。创建文件/etc/supervisor/conf.d/qwen3-asr-monitor.conf[program:qwen3-asr-monitor] command/usr/bin/python3 /root/qwen3-asr-service/scripts/monitor_metrics.py directory/root/qwen3-asr-service userroot autostarttrue autorestarttrue startsecs10 stopwaitsecs10 stdout_logfile/root/qwen3-asr-service/logs/monitor.log stderr_logfile/root/qwen3-asr-service/logs/monitor_error.log然后重新加载Supervisor配置并启动监控服务# 重新加载Supervisor配置 supervisorctl reread supervisorctl update # 启动监控服务 supervisorctl start qwen3-asr-monitor # 检查状态 supervisorctl status qwen3-asr-monitor现在监控脚本已经在运行并通过http://localhost:9091/metrics暴露指标。你可以用curl测试一下curl http://localhost:9091/metrics你应该能看到类似这样的Prometheus格式指标# HELP qwen3_asr_service_up 服务是否正常运行 # TYPE qwen3_asr_service_up gauge qwen3_asr_service_up 1.0 # HELP qwen3_asr_gpu_available GPU是否可用 # TYPE qwen3_asr_gpu_available gauge qwen3_asr_gpu_available 1.0 # HELP qwen3_asr_cpu_usage_percent CPU使用率(%) # TYPE qwen3_asr_cpu_usage_percent gauge qwen3_asr_cpu_usage_percent 15.74. Prometheus安装与配置4.1 安装PrometheusPrometheus是一个开源的监控系统专门用于收集和存储时间序列数据。我们来安装并配置它。# 下载Prometheus wget https://github.com/prometheus/prometheus/releases/download/v2.45.0/prometheus-2.45.0.linux-amd64.tar.gz # 解压 tar xvf prometheus-2.45.0.linux-amd64.tar.gz mv prometheus-2.45.0.linux-amd64 /opt/prometheus # 创建系统用户 useradd --no-create-home --shell /bin/false prometheus # 创建数据目录 mkdir -p /var/lib/prometheus chown prometheus:prometheus /var/lib/prometheus4.2 配置Prometheus创建Prometheus配置文件/opt/prometheus/prometheus.ymlglobal: scrape_interval: 15s # 每15秒采集一次 evaluation_interval: 15s # 每15秒评估一次规则 # 告警规则配置可选 rule_files: # - alert.rules # 采集目标配置 scrape_configs: # Prometheus自身监控 - job_name: prometheus static_configs: - targets: [localhost:9090] # Qwen3-ASR服务监控 - job_name: qwen3-asr static_configs: - targets: [localhost:9091] # 我们的监控脚本端口 metrics_path: /metrics scrape_interval: 10s # 更频繁地采集 # 系统监控Node Exporter - job_name: node static_configs: - targets: [localhost:9100]4.3 创建Systemd服务创建Systemd服务文件/etc/systemd/system/prometheus.service[Unit] DescriptionPrometheus Monitoring System Documentationhttps://prometheus.io/docs/introduction/overview/ Afternetwork.target [Service] Userprometheus Groupprometheus Typesimple ExecStart/opt/prometheus/prometheus \ --config.file/opt/prometheus/prometheus.yml \ --storage.tsdb.path/var/lib/prometheus/ \ --web.console.templates/opt/prometheus/consoles \ --web.console.libraries/opt/prometheus/console_libraries \ --web.listen-address0.0.0.0:9090 Restartalways [Install] WantedBymulti-user.target4.4 启动Prometheus# 设置权限 chown -R prometheus:prometheus /opt/prometheus # 重新加载Systemd systemctl daemon-reload # 启动Prometheus systemctl start prometheus systemctl enable prometheus # 检查状态 systemctl status prometheus # 查看日志 journalctl -u prometheus -f现在Prometheus应该已经运行在http://服务器IP:9090。打开浏览器访问这个地址你应该能看到Prometheus的Web界面。4.5 验证数据采集在Prometheus的Web界面中点击顶部菜单的Status → Targets你应该能看到三个采集目标prometheus (localhost:9090) - UPqwen3-asr (localhost:9091) - UPnode (localhost:9100) - DOWN因为我们还没安装Node Exporter点击Graph标签在表达式输入框中输入qwen3_asr_service_up然后点击Execute你应该能看到这个指标的当前值应该是1表示服务正常。5. Grafana安装与看板配置5.1 安装GrafanaGrafana是一个开源的数据可视化平台我们可以用它来创建漂亮的监控看板。# 添加Grafana仓库 apt-get install -y software-properties-common add-apt-repository deb https://packages.grafana.com/oss/deb stable main wget -q -O - https://packages.grafana.com/gpg.key | apt-key add - # 安装Grafana apt-get update apt-get install -y grafana # 启动Grafana systemctl start grafana-server systemctl enable grafana-server # 检查状态 systemctl status grafana-serverGrafana默认运行在http://服务器IP:3000。首次访问时使用默认账号密码登录用户名admin密码admin登录后会要求你修改密码建议设置一个安全的密码。5.2 配置Prometheus数据源登录Grafana后点击左侧菜单的Configuration齿轮图标→ Data Sources点击Add data source选择Prometheus配置如下Name: PrometheusURL: http://localhost:9090其他保持默认点击Save Test应该显示Data source is working5.3 创建Qwen3-ASR监控看板现在我们来创建一个专门的监控看板。我将提供一个完整的JSON配置你可以直接导入。首先创建一个新的看板点击左侧菜单的 → Create → Dashboard点击Add new panel我将为你设计几个关键的面板但这里先给你一个完整的看板JSON你可以直接导入{ dashboard: { title: Qwen3-ASR语音识别服务监控, description: 实时监控Qwen3-ASR-0.6B语音识别服务的健康状态、性能指标和资源使用情况, tags: [qwen3, asr, speech-recognition, monitoring], style: dark, timezone: browser, panels: [ { id: 1, title: 服务健康状态, type: stat, gridPos: {h: 4, w: 6, x: 0, y: 0}, targets: [ { expr: qwen3_asr_service_up, legendFormat: 服务状态 } ], fieldConfig: { defaults: { color: {mode: thresholds}, mappings: [ {type: value, value: 1, text: 正常, color: green}, {type: value, value: 0, text: 异常, color: red} ], thresholds: {steps: [{color: red, value: null}, {color: green, value: 1}]}, unit: short } } }, { id: 2, title: GPU可用性, type: stat, gridPos: {h: 4, w: 6, x: 6, y: 0}, targets: [ { expr: qwen3_asr_gpu_available, legendFormat: GPU状态 } ], fieldConfig: { defaults: { color: {mode: thresholds}, mappings: [ {type: value, value: 1, text: 可用, color: green}, {type: value, value: 0, text: 不可用, color: red} ], thresholds: {steps: [{color: red, value: null}, {color: green, value: 1}]} } } }, { id: 3, title: 模型加载状态, type: stat, gridPos: {h: 4, w: 6, x: 12, y: 0}, targets: [ { expr: qwen3_asr_model_loaded, legendFormat: 模型状态 } ], fieldConfig: { defaults: { color: {mode: thresholds}, mappings: [ {type: value, value: 1, text: 已加载, color: green}, {type: value, value: 0, text: 未加载, color: red} ], thresholds: {steps: [{color: red, value: null}, {color: green, value: 1}]} } } }, { id: 4, title: GPU内存使用情况, type: gauge, gridPos: {h: 6, w: 8, x: 0, y: 4}, targets: [ { expr: qwen3_asr_gpu_memory_used_gb, legendFormat: 已使用 }, { expr: qwen3_asr_gpu_memory_total_gb, legendFormat: 总计 } ], fieldConfig: { defaults: { unit: decgbytes, min: 0, max: qwen3_asr_gpu_memory_total_gb } } }, { id: 5, title: 请求处理时间分布, type: heatmap, gridPos: {h: 8, w: 16, x: 0, y: 10}, targets: [ { expr: rate(qwen3_asr_request_duration_seconds_bucket[5m]), format: heatmap, legendFormat: {{le}} } ], fieldConfig: { defaults: { unit: s, color: {mode: scheme, schemeName: Oranges} } } }, { id: 6, title: 请求成功率, type: timeseries, gridPos: {h: 8, w: 8, x: 0, y: 18}, targets: [ { expr: rate(qwen3_asr_requests_success[5m]) * 100, legendFormat: 成功率 }, { expr: rate(qwen3_asr_requests_failure[5m]) * 100, legendFormat: 失败率 } ], fieldConfig: { defaults: { unit: percent, color: {mode: palette-classic} } } }, { id: 7, title: CPU使用率, type: timeseries, gridPos: {h: 6, w: 8, x: 8, y: 4}, targets: [ { expr: qwen3_asr_cpu_usage_percent, legendFormat: CPU使用率 } ], fieldConfig: { defaults: { unit: percent, min: 0, max: 100 } } }, { id: 8, title: 按语言分类的请求分布, type: barchart, gridPos: {h: 8, w: 8, x: 8, y: 18}, targets: [ { expr: rate(qwen3_asr_audio_files_by_language[5m]), legendFormat: {{language}} } ], fieldConfig: { defaults: { unit: short, color: {mode: palette-classic} } } }, { id: 9, title: 总请求数, type: stat, gridPos: {h: 4, w: 6, x: 0, y: 26}, targets: [ { expr: increase(qwen3_asr_requests_total[1h]), legendFormat: 过去1小时请求数 } ], fieldConfig: { defaults: { unit: short, color: {mode: value} } } }, { id: 10, title: 音频文件处理总数, type: stat, gridPos: {h: 4, w: 6, x: 6, y: 26}, targets: [ { expr: increase(qwen3_asr_audio_files_total[1h]), legendFormat: 过去1小时处理数 } ], fieldConfig: { defaults: { unit: short, color: {mode: value} } } } ], time: {from: now-1h, to: now}, timepicker: { refresh_intervals: [5s, 10s, 30s, 1m, 5m, 15m, 30m, 1h, 2h, 1d], time_options: [5m, 15m, 1h, 6h, 12h, 24h, 2d, 7d, 30d] } }, overwrite: true }5.4 导入看板在Grafana中导入看板点击左侧菜单的 → Import将上面的JSON内容粘贴到Import via panel json文本框中点击Load选择Prometheus数据源点击Import现在你应该能看到一个完整的监控看板了看板包含以下关键信息服务健康状态一眼看出服务是否正常GPU内存使用实时监控GPU资源请求处理时间了解服务性能请求成功率监控服务质量CPU使用率系统资源监控语言分布了解用户使用习惯请求统计业务量监控6. 高级监控功能扩展6.1 添加Node Exporter系统监控Node Exporter可以收集系统级别的指标如磁盘使用、网络流量等。# 下载Node Exporter wget https://github.com/prometheus/node_exporter/releases/download/v1.6.0/node_exporter-1.6.0.linux-amd64.tar.gz # 解压 tar xvf node_exporter-1.6.0.linux-amd64.tar.gz mv node_exporter-1.6.0.linux-amd64/node_exporter /usr/local/bin/ # 创建Systemd服务 cat /etc/systemd/system/node_exporter.service EOF [Unit] DescriptionNode Exporter Afternetwork.target [Service] Usernode_exporter Groupnode_exporter Typesimple ExecStart/usr/local/bin/node_exporter [Install] WantedBymulti-user.target EOF # 创建用户 useradd -rs /bin/false node_exporter # 启动服务 systemctl daemon-reload systemctl start node_exporter systemctl enable node_exporter # 检查状态 systemctl status node_exporter现在Node Exporter运行在http://localhost:9100/metricsPrometheus会自动采集这些指标。6.2 配置告警规则我们可以配置Prometheus在服务异常时发送告警。创建告警规则文件/opt/prometheus/alerts/qwen3-asr-alerts.ymlgroups: - name: qwen3-asr-alerts rules: - alert: Qwen3ASRServiceDown expr: qwen3_asr_service_up 0 for: 1m labels: severity: critical annotations: summary: Qwen3-ASR服务异常 description: Qwen3-ASR服务已停止运行超过1分钟 - alert: Qwen3ASRGPUUnavailable expr: qwen3_asr_gpu_available 0 for: 30s labels: severity: warning annotations: summary: GPU不可用 description: Qwen3-ASR服务的GPU不可用 - alert: Qwen3ASRHighResponseTime expr: histogram_quantile(0.95, rate(qwen3_asr_request_duration_seconds_bucket[5m])) 5 for: 2m labels: severity: warning annotations: summary: 请求响应时间过高 description: 95%的请求响应时间超过5秒 - alert: Qwen3ASRHighGPUMemoryUsage expr: qwen3_asr_gpu_memory_used_gb / qwen3_asr_gpu_memory_total_gb 0.9 for: 5m labels: severity: warning annotations: summary: GPU内存使用率过高 description: GPU内存使用率超过90%然后在prometheus.yml中启用告警规则rule_files: - alerts/qwen3-asr-alerts.yml重启Prometheus使配置生效systemctl restart prometheus6.3 集成Alertmanager发送告警通知Alertmanager可以处理Prometheus的告警并发送到各种渠道邮件、Slack、钉钉等。# 下载Alertmanager wget https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz # 解压 tar xvf alertmanager-0.25.0.linux-amd64.tar.gz mv alertmanager-0.25.0.linux-amd64 /opt/alertmanager # 创建配置 cat /opt/alertmanager/alertmanager.yml EOF global: smtp_smarthost: smtp.example.com:587 smtp_from: alertmanagerexample.com smtp_auth_username: username smtp_auth_password: password route: group_by: [alertname] group_wait: 10s group_interval: 10s repeat_interval: 1h receiver: email-notifications receivers: - name: email-notifications email_configs: - to: adminexample.com headers: subject: {{ .GroupLabels.alertname }} EOF # 创建Systemd服务 cat /etc/systemd/system/alertmanager.service EOF [Unit] DescriptionAlertmanager Afternetwork.target [Service] Useralertmanager Groupalertmanager Typesimple ExecStart/opt/alertmanager/alertmanager \ --config.file/opt/alertmanager/alertmanager.yml \ --storage.path/opt/alertmanager/data [Install] WantedBymulti-user.target EOF # 创建用户 useradd -rs /bin/false alertmanager # 启动服务 systemctl daemon-reload systemctl start alertmanager systemctl enable alertmanager7. 总结你的语音识别服务现在有了火眼金睛通过本教程我们为Qwen3-ASR-0.6B语音识别服务搭建了一个完整的监控系统。现在你的服务不再是黑盒而是有了清晰的仪表盘7.1 监控系统带来的价值实时可视化通过Grafana看板一眼就能看到服务状态快速故障定位问题发生时能快速定位是GPU问题、内存问题还是代码问题性能优化依据通过请求时间分布找到性能瓶颈容量规划参考通过资源使用趋势合理规划服务器配置服务质量保障通过成功率监控确保用户体验7.2 关键监控指标回顾服务健康qwen3_asr_service_up- 服务是否存活GPU状态qwen3_asr_gpu_available- GPU是否可用性能指标qwen3_asr_request_duration_seconds- 请求处理时间资源使用qwen3_asr_gpu_memory_used_gb- GPU内存使用业务统计qwen3_asr_audio_files_total- 处理的音频文件数7.3 下一步优化建议真实数据收集将监控脚本中的模拟数据替换为从FastAPI中间件收集的真实数据日志集成将服务日志也接入监控系统实现日志与指标的关联分析自定义指标根据业务需求添加更多自定义监控指标自动化运维基于监控数据实现服务的自动扩缩容多实例监控如果部署了多个服务实例可以扩展监控系统支持集群监控7.4 日常使用建议定期查看看板每天花几分钟看看监控看板了解服务运行状况设置告警阈值根据实际情况调整告警阈值避免误报或漏报保留历史数据定期备份Prometheus数据用于趋势分析和问题回溯团队共享将Grafana看板分享给团队成员提高问题响应速度现在当用户反馈服务慢了或出错了时你不再需要手忙脚乱地登录服务器查日志。只需要打开Grafana看板所有信息一目了然。这就是监控系统的价值——让运维从被动响应变为主动预防。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。