Vs vs. charles

Нагрузочное тестирование в сжатые сроки

Валерий Иванчук. Luxoft (Днепропетровск)

Инструктор Учебного Центра Luxoft Training

Изменим мир тестирования

• Каждый автоматический тестировщик приходит со своим инструментарием и абсолютно свободен в своих действиях. И мы с радостью делимся и интструментарием и опытом.

• Автоматический набор тестов должен находить баги и затраты на его написание не должны превышать затрат на создание подобного тестового набора мануальщиками.

Сравним результаты тестирования

Microsoft Visual Studio C# 2010 Ultimate Сharles 3.8.1

Срочно проверить !!!

• Нужно оценить производительность Web Service

Microsoft Visual Studio Ultimate

• $13,600

• $4345 (Обновление)

Шаг 1. Создать тестовый проект

Шаг 2. Добавить ссылку на сервис

Шаг 3. Создать комплект функциональных тестов

Шаг 4. Добавить нагрузочный тест

Шаг 5. Добавить нагрузочный тест

Шаг 5. Добавить нагрузочный тест

Шаг 5. Добавить нагрузочный тест

Шаг 5. Добавить нагрузочный тест

Шаг 5. Добавить нагрузочный тест

Шаг 5. Добавить нагрузочный тест

Шаг 5. Добавить нагрузочный тест

Шаг 5. Добавить нагрузочный тест

Шаг 6. Запустить нагрузочный тест

Шаг 6. Запустить нагрузочный тест

Шаг 7. Выписать основные показатели

Шаг 8. Все повторить несколько раз

Шаг 9. Обработать статистику

Сharles

• Дешевое решение: Charles 3.8.1

1-3 шаги совпадает с предыдущими

4. Закрываем все веб-браузеры

5. Стартуем Сharles

6. Запускаем функциональный тест

6. Запускаем функциональный тест

7. Задаем значения для нагрузочного теста

Name Scenario Total Tests Failed Tests (% of total) Avg. Test Time (sec)

TestAddScenario1

3,610 0 (0) 3.10

8. Запускаем нагрузочный тест

9. Открываем Excel и копируем туда все запросы

10. Создаем новую колонку

=VALUE(REPLACE(INDIRECT(ADDRESS(ROW();6));FIND("ms";INDIRECT(ADDRESS(ROW();6));1);2;""))

10. Создаем график для новой колонки

Заключение

• Именно потому, что полученные значения находятся в диапазоне предыдущих серий мы можем заключить, что данная информация является более-менее достоверной и принять её за эталон. Все дальнейшие измерения можно соотносить с полученным результатом и делать выводы об ухудшении/улучшении призводительности. Очень осторожно надо относится к абсолютным показателям, помня о житейской мудрости, что всё в жизни относительно.