Перспективы тестирования хранилищ данных и BI систем

Докладчик

Светлана Родионова

Testing Team Lead in EPAM

БГУ радиофизика

опыт работы в IT 5 лет

skype: svetlana_kolopenko

Перспективы тестирования хранилищ данных и BI систем

Светлана Родионова. EPAM Systems

Сложно?

НЕТ!

Заманчиво

Содержание

1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать

- Что такое DWH/BI

- Преимущества BI систем в цифрах

2. Архитектура DWH/BI. Проблемы и разработанные best practices

3. Кто такой QA в BI? Высокая востребованность

Содержание

1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать

- Что такое DWH/BI

- Преимущества BI систем в цифрах

2. Архитектура DWH/BI. Проблемы и разработанные best practices

3. Кто такой QA в BI? Высокая востребованность

Что такое DWH/BI

Кто использует BI системы?

- Главный/технический директор(CEO/CTO)- Главы отделов и управлений- …

Зачем понадобились BI системы

Зачем понадобились BI системы

Невозможно использовать существующие БД Необходимо трансформировать данные в

информацию Необходимо выработать единые методологии

и алгоритмы внутри компании Растут объемы данных и нагрузки

Эффективное принятие решений

Что такое DWH/BI

BI – это технология и программное решение для сбора и анализа данных,с целью оптимизации принятия решений.

Источником информации в BI является хранилище данных (DWH)

Характеристики хранилищ

предметная ориентированность

интегрированность

историчность

стабильность

нацеленность на принятие решений

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%Преимущества от внедрения BI (по BARC)

Преимущества BI-систем в цифрах

Содержание

1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать

- Что такое DWH/BI

- Преимущества BI систем в цифрах

2. Архитектура DWH/BI. Проблемы и разработанные best practices

3. Кто такой QA в BI? Высокая востребованность

Архитектура DWH/BI

источники

DWH хранилище

Анализ

Отчетность

Архитектура DWH/BI

STAGINGSTORE

MARTS

Архитектура DWH/BI

STAGINGSTORE

MARTS

STAGING

Захват• Данные real-

time• Потеря/

порча/дублирование данных

Трансформация• Разные

форматы• Переименования

Очистка• Изоляция

ошибочных записей

+ Performance загрузки

Архитектура DWH/BI

STAGING MARTSSTORE

STORE

Загрузка/Чистка• Частичная

загрузка• Изоляция ошибок

Консолидация• Неверные

бизнес правила• Пропущенные

записи

Подготовка• Логические

ошибки в построении

+ Performance загрузки

STAGING - STORE

Select * from source minus select * from target

SOURCE TARGET

Диаграммы Маппинг

Архитектура DWH/BI

STAGINGSTORE

MARTS

MARTS

Агрегация• Ошибки агрегирующих

функций• Фильтры

Предрасчеты• Ошибки расчетов• Неверная логика

расчетов

STGbuild1

STORE MARTS1

ETL2STORE MARTS2

Сравнить тестовые результаты

КАК тестировать постоянно изменяющиеся системы?

Регрессия

STGbuild2

ETL1

ETL2

ETL1

Архитектура DWH/BI

источники

DWH хранилище

Анализ

Отчетность

Архитектура DWH/BI

Анализ

Отчетность

AD HOC

PRINT READY

Анализ и отчетность

Data Mart

Отчетность

Отчетность

Данные• Ошибки в

запросах в базе• Неверная логика

отчетов

Структура• Неверная

структура или /и формат

• Drills

Расчеты• Ошибки в

расчете метрик

+ Performance отчетов

Содержание

1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать

- Что такое DWH/BI

- Преимущества BI систем в цифрах

2. Архитектура DWH/BI. Проблемы и разработанные best practices

3. Кто такой QA в BI? Высокая востребованность

Кто такой QA в BI?

Кто такой QA в BI?

- Знания DW/BI

- SQL

- ETL

- OLAP

- Опыт автоматизации

- Комплексное тестовое окружение

- Менеджмент

- Специфика BI и заказчиков

Вопросы ?