Метрики качества помогают измерять эффективность QA-процессов и принимать решения на основе данных, а не ощущений.
Основные группы метрик:
Качество продукта (дефекты, стабильность).
Эффективность тестирования (покрытие, скорость, утечки).
Процессы и команда (время, загрузка, автоматизация).
Примеры:
Defect Leakage — % багов, найденных после релиза.
Test Coverage — % требований, покрытых тестами.
Automation Rate — доля автотестов в регрессе.
Mean Time to Detect (MTTD) — среднее время нахождения бага.
Метрики качества позволяют управлять QA не по интуиции, а по цифрам — видеть,
где проседают процессы, какие тесты эффективны и где теряется качество.
Цель — повышать предсказуемость релизов и снижать риски.
| Метрика | Формула / Смысл | Пример интерпретации |
|---|---|---|
| Defect Density | Кол-во дефектов / размер кода (LOC) или функционала | Чем меньше, тем стабильнее код |
| Defect Leakage | Баги, найденные после релиза / (все баги до + после) × 100% | Показывает, сколько багов “утекло” в прод |
| Critical Bug Rate | Критичные баги / все баги | Высокий % → слабая проверка критичных фич |
| Customer Incidents | Кол-во инцидентов от пользователей | Растёт → QA-просадка или ошибки в UAT |
Пример:
Если Defect Leakage = 10%, значит 1 из 10 багов уходит в прод. Цель — ≤5%.
| Метрика | Формула | Смысл |
|---|---|---|
| Test Coverage | Протестированные требования / все требования × 100% | Показывает полноту тестирования |
| Defect Detection Efficiency (DDE) | Найденные баги до релиза / (до + после) × 100% | Эффективность QA — чем ближе к 100%, тем лучше |
| Test Case Execution Rate | Выполненные тесты / все тесты | Отражает прогресс регресса |
| Mean Time to Detect (MTTD) | Среднее время от внедрения дефекта до его обнаружения | Чем меньше, тем быстрее QA реагирует |
| Mean Time to Fix (MTTF) | Среднее время от обнаружения дефекта до фикса | Помогает измерять скорость Dev+QA цикла |
| Метрика | Что показывает | Пример |
|---|---|---|
| Automation Rate | Доля автотестов в общем регрессе | 45% сценариев автоматизировано |
| Flakiness Rate | % нестабильных тестов | Если >5% — требуется оптимизация CI |
| Test Cycle Time | Среднее время полного регресса | Сокращение времени при сохранении качества |
| Reopen Rate | % повторно открытых багов | Если >10% — проблемы в фиксации или коммуникации |
| Review Coverage | Сколько багов прошло RCA / ретроспективу | Высокое значение → зрелая QA-культура |
| Показатель | Пример |
|---|---|
| Всего протестировано: 820 тестов | 96% успешно, 4% — с багами |
| Найдено багов: 38 (из них 5 Critical) | 13% от общего объёма тестов |
| Покрытие требований: 91% | Остальные уточняются с аналитиками |
| Автоматизация: 52% регресса | Снижение ручного труда |
| Defect Leakage: 3% | В норме (<5%) |
📊 Такие цифры позволяют аргументировать качество релиза на CAB или перед бизнесом.
Не всё измеряется цифрами — полезны и “мягкие” индикаторы:
Довольны ли разработчики качеством тестов (опрос внутри команды).
Есть ли доверие бизнеса к QA-отчётам.
Как часто релизы задерживаются из-за качества.
В QA-отделе банка внедрили систему метрик:
Defect Leakage снизился с 8% до 2%.
Регресс сократился с 4 до 2 дней.
% автотестов вырос с 30% до 55%.
→ Руководство впервые стало рассматривать QA как центр эффективности, а не “тормоз релизов”.
💡 Итог:
Метрики качества — это инструмент управления рисками и зрелостью QA.
Они показывают, насколько продукт надёжен, команда эффективна, а процесс — управляем.
Чтобы пожаловаться или сообщить об ошибке, войдите в аккаунт или зарегистрируйтесь.