Getting maximum from testing automation

Получаем максимум от автоматизации

Антон СиротаSkype: Yader-2007

Обо мне

Тимлид группы автоматизации

Активный спикер QA Talk в Херсоне, Одессе и Львове

Докладчик QA School в Херсоне

Создатель менторских программ, а также ментор

QA Automation в компании

Основатель и куратор внутреннего курса Thucydides

С#

Когда автоматизация считается успешной?

Автотесты не пропускают баги

Не более 5% рандомно падающих тестов

Все тесты успевают пробежать за ночь (до 10ч.)

Имеем чистую и доступную для всех отчетность

Автотесты покрывают большую часть тестовых

сценариев

Каждый раз тестировать руками долго

Нужны автоматическ

ие тесты

С чего все начиналось

JenkinsMavenTestNGSelenium RCJava

Как все начиналось

Был Selenium RC который все действия делал через JS

Были “какие-то” автотесты

Автотесты гонялись, но мы все-равно проходили все

тест кейсы руками

Не было никакой отчетности

Стабильно 20% тестов падало по непонятным на то

причинам

QA мешали тестам, тесты мешали QA

Вскоре тесты стали бежать более 12ти часов

Как с этим всем бороться?

Нужно понимать причины падений быстро

Нужны логиСделали 2 уровня логирования и информативные логи при падении

Нужно понимать причины падений быстро

Давайте делать скриншотыДобавили взятие скриншота на падении и доступ к нему прямо из CI

Нужно понимать причины падений быстро

Будем сохранять всю страницуНачали сохранять всю html страницу при падении теста

Что делаем для получения качественного кода и стабильных результатов

Code Review Review board

Прогон в персональных

группах перед тем как тесты уйдут в основную группу

Нужно улучшить сам процесс

Каждый тест прикреплять к тест

кейсу

Отмечать в Test Manager все

автоматизированные тест кейсы

Автоматизировать нужные тест кейсы

Добавить ежедневную отчетность

Завести тикет

Выключить тест

Оставить тесту комментарий с номером тикета

Оставить комментарий в

тикете

Ждать когда баг устранят и

вернется тикет

Включить тест и закрыть тикет

Что делать когда тест словил баг?

Изменения в требованиях

Апдейт тест кейса

Тикет на QA Automation

команду

Апдейт автотеста

Закрыть тикет

Что делать если поменялись требования?

Все довольно таки не плохо

А посмотрим-ка на общую статистику

Dashboard View - https://wiki.jenkins-ci.org/display/JENKINS/Dashboard+View

Для заказчика также важны отчеты и прогресс

Тесты бегут долго, нужно что-то менять

Распараллеливание

Долой QA “мешающих” нашим автотестам!

А может объединим усилия?

Dev1 Dev2 QA Prod

Dev1 Dev2 QA Prod

Auto1 Auto2 QA Prod

Manual QA

Automation

А что вы делаете с результатами автотестов?

А мы больше ничего не делаем, у нас автотесты самостоятельные

Как происходит автоотмечание

+

Что имеем сейчас в результате

Автоматизация стала быстрой и налаженной

Более 60% санити и регрессии проходится автотестами

Покрыли 2700 сценариев, 300 из которых мобильные

2700 х 2 сервера = 5400 результатов тестов за ночь

От 2х то 5-ит процентов тестов валятся ночью если нет

блокеров.

Каждую итерацию имеем автоматически проставленные

результаты в тест сьютах

Чистая и подробная ежедневная отчетность 

Перешли на Continuous Delivery

Continuous Delivery

Auto Manual AutoAutoAuto

Puppet Module Unit

Tests

Platform Tests

Deliver To Staging

Application Acceptance

Tests

Deploy To Production

Post Deploy Tests

? Вопросы?

Антон Сирота

Skype: Yader-2007E-mail: [email protected]