Olap и oltp технологии

OLAP и OLTP технологии

Терновой И.С.САПР 5.1п

2

Содержание• Основа OLAP (определение OLAP, OLAP куб)• Хранилище данных• Теория OLAP (Правила Кодда, тест FASMI)• Классификация OLAP (ROLAP, HOLAP,

MOLAP…)• Рынок OLAP продуктов и его перспективы• Применение OLAP на практике• Что такое OLTP (определение, требования)• Характеристики OLAP и OLTP

3

Что такое OLAP

• OLAP это программный продукт, язык программирования, конкретная технология, совокупность концепций, принципов и требований, лежащих в основе программных продуктов, облегчающих аналитикам доступ к данным.

• OLAP (Online Analytical Processing) – оперативная аналитическая обработка данных

4

Предпосылки появления OLAP

Проблемы реляционных СУБД:• Относительная сложность написания SQL

запросов и их большое количество• Агрегированные выборки• Необходимость привлечения IT

специалистов

5

Многомерная схема хранения данных• Появляется идея о том, что можно сделать специализированный

сервер и пусть данные в нем будут храниться не в виде таблиц, связанных между собой, а в виде кубов и измерений.

• Измерения - основные атрибуты анализируемого бизнес-процесса• На пересечениях осей - измерений (Dimensions) - находятся данные,

количественно характеризующие процесс - меры (Measures).

6

Преимущества многомерной схемы хранения перед реляционной

• Легкая навигация по фактам• Легко определять вычисления над фактами• Можно работать не с отдельной ячейкой, а

описать одной формулой операцию над целым диапазоном, так как будто это одна ячейка.

• Легкость доступа к агрегированным данным• И т.д.

7

Хранилища данных

8

Правила и особенности КоддаВ 1993 Е. Ф. Кодд с партнерами опубликовали статью c 12 правилами, инициированную компанией Arbor Software (сегодня это Hyperion Solutions), озаглавленную «Обеспечение OLAP (оперативной аналитической обработки) для пользователей - аналитиков»:

1. Концептуальное многомерное представление.2. Прозрачность.3. Доступность.4. Постоянная производительность при разработке отчетов.5. Клиент-серверная архитектура.6. Общая многомерность.7. Динамическое управление разреженными матрицами.8. Многопользовательская поддержка.9. Неограниченные перекрестные операции.10. Интуитивная манипуляция данными.11. Гибкие возможности получения отчетов.12. Неограниченная размерность и число уровней агрегации.

Edgar Frank Codd

9

Тест FASMI• FAST (Быстрый)

• ANALYSIS (Анализ)

• SHARED (Разделяемой)

• MULTIDIMENSIONAL (Многомерной)

• INFORMATION (Информации)

Nigel Pendse

Большинство существующих OLAP-систем удовлетворяет всем этим признакам.

10

Классификация OLAP• MOLAP (Multidimensional OLAP – многомерный

OLAP)• ROLAP (Relational OLAP – реляционный OLAP)• HOLAP (Hybrid OLAP – гибридный OLAP)

• Real-time ROLAP (ROLAP реального времени)• DOLAP (Desktop OLAP – настольный OLAP)• WOLAP (Web-based OLAP – OLAP ориентированный на

Web)• SOLAP (Spatial OLAP – пространственный OLAP)• Mobile OLAP (OLAP для мобильных устройств)• JOLAP (Java OLAP)

11

MOLAP (Multidimensional OLAP) - и детальные данные, и агрегаты хранятся

в многомерной БД

Достоинства MOLAP-систем:• все данные хранятся в многомерных структурах, что существенно

повышает скорость обработки запросов;• обработка разреженных данных выполняется лучше, чем в ROLAP.Недостатки:• данные куба «оторваны» от

базовой таблицы; необходимы специальные инструменты для формирования кубов и их пересчёта в случае изменения базовых значений;

• сложно изменять измерения без повторной агрегации.

12

ROLAP (Relational OLAP) - детальные данные хранятся в реляционной БД; агрегаты ранятся в той же БД в специально созданных служебных

таблицах.Достоинства:• возможность использования ROLAP с хранилищами данных и

различными OLTP-системами;• возможность манипулирования большими объемами данных; Недостатки:• медленнее, чем MOLAP и

HOLAP;• функциональность систем

ограничивается возможностями SQL;

• сложность пересчета агрегированных значений при изменениях данных.

13

HOLAP (Hybrid OLAP) - детальные данные хранятся в реляционной БД, а агрегаты

хранятся в многомерной БД.

Достоинства:• комбинирование технологии ROLAP для разреженных

данных и MOLAP для плотных областейНедостатки:• необходимость поддерживания MOLAP и ROLAP• проигрывает по скорости MOLAP

14

MOLAP, HOLAP, ROLAP

15

Основные вехи развития OLAP• 1962 - Публикация ” A Programming Language” Кена Айверсона (IBM) -

Первый многомерный язык программирования;• 1970 - Появился Express. Первый многомерный продукт, ныне -

собственность компании Oracle;• 1982 - Comshare System W. Первый OLAP инструмент, ориентированный

на финансовые приложения. На рынке больше не предлагается, позднее Essbase использовал многие его концепции;

• 1984 - Запущен Metaphor. Первый ROLAP;• 1990 - Cognos PowerPlay. Первый OLAP для Windows и первым

настольным OLAP. Сегодня лидирует в секторе настольныхOLAP;• 1992 - Выпущен Essbase. Первый OLAP продукт,имеющий хороший

рынок;• 1993 - Напечатана статья Кодда с определением OLAP;• 1994 - MicroStrategy DSS Agent. Первый ROLAP без многомерной СУБД,

почти вся обработка выполняется с помощью множества SQL-запросов;• 1995 - Создан Holos 4.0. Первый HOLAP;• 1999 - Выпущен Microsoft OLAP Services .

16

Интенсивность использования OLAP по отраслям

1. Страхование2. Производство3. Пищевая промышленность

………………………..

15. Консалтинг/проф.услуги16. Архитектура/проектирование17. Образование

17

Доли производителей на рынке OLAPМесто Производитель Доля Лого

1Microsoft ecosystem

31.6%

2Oracle (incl Hyperion)

21.7%

3SAP (incl Business Objects, Cartesis, OutlookSoft) 17.8%

4IBM (incl Cognos, Applix)

16.6%

5MicroStrategy 

7.3%

18

Объем рынка OLAP продуктов (млрд. долл.)

19

Российские производители инструментов класса OLAP

• Intersoft LabПрограммный продукт «Контур»

• BaseGroup LabsПрограммный продукт «Deductor»

20

Применение OLAP на практике• Анализ финансовых показателей деятельности предприятия• Корпоративная отчетность• Анализ бюджетных данных• Анализ клиентской базы• Анализ складских данных• Анализ продаж• Анализ закупок и цен• Анализ посещаемости Web-сайта• Публикация маркетинговых исследований• Создание информационного сервиса

Потенциально применение таких продуктов возможно везде, где происходит сбор информации и требуется ее анализ

21

Применение OLAP на практике• Одна из крупнейших компаний в сфере

ресторанного бизнеса• В настоящее время работает более 200 кофеен• География - Москва, регионы РФ и страны СНГ

Открытие новых заведений, растущее число посетителей, широкий ассортимент кофейни привели к резкому увеличению объемов информации, хранящейся в учетных системах. В то же время конкуренция и стремление учесть пожелания гостей требуют анализа оперативных и исторических данных. Поэтому было принято решение создать корпоративное хранилище данных и разработать систему аналитических отчетов.Были поставлены следующие задачи:• Сбор и объединение данных из разных учётных систем.• Хранение данных за весь период работы.• Предоставление пользователю возможности построения динамических

аналитических отчетов по любому сочетанию исторических и текущих данных.• Создание математических моделей на исторических и текущих данных.

22

Применение OLAP на практике

Было спроектировано хранилище данных на базе Deductor Warehouse 6 для СУБД MS SQL, настроена интеграция с 1С.Предприятие 8.1, R-Keeper и с другими информационными источниками. Большое внимание было уделено организации ETL-процесса: настроены процедуры поиска ошибок и пропусков данных, сформированы механизмы очистки, выявления дубликатов и противоречий. Затем были построены первые аналитические отчеты.

23

OLTP технологияOLTP (оперативная транзакционная обработка данных) - способ организации базы данных, при котором система работает с транзакциями небольшими по размерам, но идущими большим потоком, и при этом клиенту требуется от системы максимально быстрое время ответа.

Приложения OLTP, как правило, автоматизируют структурированные, повторяющиеся задачи обработки данных, такие как ввод заказов и банковские транзакции. OLTP-системы проектируются, настраиваются и оптимизируются для выполнения максимального количества транзакций за короткие промежутки времени.

24

Использование OLTP

• банковские и биржевые операции• регистрация прохождения детали на

конвейере• фиксация в статистике посещений

очередного посетителя веб-сайта• автоматизация бухгалтерского, складского

учёта и учёта документов

25

База данных должна быть построена как система OLTP, если требуется реализация одного из следующих аспектов работы:• одновременный доступ;

система OLTP должна гарантировать, что только один пользователь в конкретный момент времени сможет изменять данные;

• целостность изменений; все выполняемые в базе данных изменения выполняются в виде транзакций; система OLTP гарантирует, что все включенные в транзакцию шаги будут выполнены как единое целое.

26

Требования к OLTP• Сильно нормализованные модели данных;• При возникновении ошибки, транзакция

должна целиком откатиться и вернуть систему к состоянию, которое было до начала транзакции;

• Обработка данных в реальном времени.

27

Характеристики OLAP и OLTPХарактеристики OLTP системы· Большой объем информации· Часто различные БД для разных подразделений· Нормализованная схема, отсутствие дублирования информации· Интенсивное изменение данных· Транзакционный режим работы· Транзакции затрагивают небольшой объем данных· Обработка текущих данных – мгновенный снимок· Очень много клиентов· Малое время отклика – несколько секунд

Характеристики OLAP системы· Большой объем информации· Синхронизированная информация из различных БД с использованием общих классификаторов· Ненормализованная схема БД с дубликатами· Данные меняются редко, изменение происходит через пакетную загрузку · Выполняются сложные нерегламентированные запросы над большим объемом данных с широким применением группировок и агрегатных функций.· Анализ временных зависимостей· Небольшое количество работающих пользователей – аналитики и менеджеры· Большее время отклика (но все равно приемлемое) – несколько минут

28

Спасибо за внимание