SQA Days 19 - Self-dependent QA Assessment - how to start (Самостоятельная оценка процессов - с чего начать)

Самостоятельная оценка процессов

тестирования на проекте – с чего начать?

Андрей Ладутько

Май 20, 2016

АНДРЕЙ ЛАДУТЬКО

Минск, Беларусь

Тест-лид, Эксперт ЦКТ

8+ лет опыта

Процессы, аудиты, тест-дизайн, личная эффективность

SQA Days-12,13,15,16,17 докладчик

SQA Days-18,19 – куратор ПК

ISTQB Full Advanced Level

[email protected], [email protected]

ladutko_andrey

sof_minsk

http://qastugama.blogspot.comp://qastugama.blog

spot.com

3CONFIDENTIAL

ШАГ 0. ПРИНЯТИЕ

В ЛЮБОЙ КОДЕ ВСЕГДА МОЖНО НАЙТИ ОШИБКИ.

ЛЮБУЮ ТЕСТОВУЮ СТРАТЕГИЮ МОЖНО ЕЩЕ ЧУТЬ-ЧУТЬ УЛУЧШИТЬ

4CONFIDENTIAL

ШАГ 1. ОПРЕДЕЛЕНИЕ

5CONFIDENTIAL

ШАГ 1. ОПРЕДЕЛЕНИЕ

•Цель тестирования

•Вопросы, на которые хотим получить ответ

6CONFIDENTIAL

ЦЕЛИ ТЕСТИРОВАНИЯ

Time

Costs

Quality

Visibility

Automation

7CONFIDENTIAL

1 2 3

ПОЧЕМУ МЕТРИКИ

Четкий Измеряемый Реалистичный

8CONFIDENTIAL

ОТВЕЧАЕМ НА ВОПРОС:

КАКОЕ КАЧЕСТВО ТЕСТИРОВАНИЯ?

• % ошибок, пропущенных в релиз (Defect Containment )

• % отклоненных дефектов (Decline Rate)

• Число дефектов по типам и приоритетам (Total number of

issues by types of testing VS priority)

• Дэшборд (Testing Dashboard)

• Количество открытых дефектов (Open Defects)

• % рабочего времени по категориям (Total working time by

categories)

9CONFIDENTIAL

ОТВЕЧАЕМ НА ВОПРОС:

УСПЕВАЕМ ЛИ МЫ ПРОТЕСТИРОВАТЬ ВОВРЕМЯ?

• Дэшборд (Testing dashboard)

• Диаграмма выгорания (Burn Down Chart)

• Число рабочих дней VS запланированное время на

тестирование (Test team work Days remaining vs testing effort

remaining)

• Закрытые VS все дефекты (Total vs Closed)

• Изменение количества дефектов по статусу (Defect

progression by status and quality)

• Количество дефектов на верификацию (# of defects to be

verified)

10CONFIDENTIAL

ШАГ 2. ИЗМЕРЕНИЕ И АНАЛИЗ

11CONFIDENTIAL

ПРИМЕР ИЗМЕРЕНИЯ. DEFECT CONTAINMENT

• Показывает % дефектов найденных до

релиза VS общее количество дефектов

• Считается после определенного периода

после релиза

• Невалидные баги не учитываются

𝑫𝒆𝒇𝒆𝒄𝒕 𝑪𝒐𝒏𝒕𝒂𝒊𝒏𝒎𝒆𝒏𝒕 =𝒂𝒍𝒍 𝒅𝒆𝒇𝒆𝒄𝒕𝒔 − 𝒑𝒓𝒐𝒅𝒖𝒄𝒕𝒊𝒐𝒏 𝒅𝒆𝒇𝒆𝒄𝒕𝒔

𝒂𝒍𝒍 𝒅𝒆𝒇𝒆𝒄𝒕𝒔∗ 𝟏𝟎𝟎%

Целевое значение – 95%

NOTES

12CONFIDENTIAL

ПРИМЕР АНАЛИЗА ПРОПУЩЕННЫХ ДЕФЕКТОВ

• Конфигурации и окружения

• Вид тестирования (функциональный – нефункциональный)

• Сценарий или ad-hoc

• Компонента или модуль системы

• Причина пропуска (регрессия, неясное требование, недостаток времени, апгрейд

версии)

13CONFIDENTIAL

ШАГ 3. ДЕЙСТВИЕ

14CONFIDENTIAL

ШАГ 4. КОРРЕКЦИЯ

15CONFIDENTIAL

САМОСТОЯТЕЛЬНЫЙ АУДИТ – ИТОГОВАЯ СХЕМА

Определение

Коррекц

ия

Изм

ерение

и а

нализ

Действие

Цель тестирования

Вопросы

Метрики и KPI

Сравниваем метрики до и

после внедрения

Улучшение – продолжаем

Застой или ухудшение –

ищем другие способы

Метрики и KPI

Шаги по улучшению

Just do it!

16CONFIDENTIAL

[email protected], [email protected]

ladutko_andrey

sof_minsk

http://qastugama.blogspot.com

СПАСИБО!