<Insert Picture Here> Введение в Oracle GoldenGate:Интеграция данных в реальном времени Александр Рындин Старший консультант
Nov 16, 2014
<Insert Picture Here>
Введение в Oracle GoldenGate:Интеграция
данных в реальном времени
Александр Рындин
Старший консультант
Agenda
• Введение в Oracle GoldenGate
• GoldenGate для распределенных центров
• GoldenGate и ODI для распределенных центров
• GoldenGate для безостановочной миграции
• Технические подробности
• Вопросы&Ответы
Oracle Data Integration SolutionBest-in-
class Heterogeneous Platform for Data Integration
MDMApplications
SOAPlatforms
BusinessIntelligence
Activity Monitoring
Custom Applications
Oracle GoldenGate
Log-based CDC
Bi-directional Replication
Real-time Data
SOA Abstraction Layer
Service BusProcess Manager Data Services
Oracle Data Integrator
ELT/ETL
Data Transformation
Bulk Data Movement
OLTPSystem
Flat FilesData Warehouse/Data Mart
OLAP Cube Web 2.0 Web and Event Services, SOA
Storage
Data Verification
Oracle Data Quality
Data Profiling
Data Parsing
Data Cleansing
Data Federation
Data Lineage Match and Merge
Comprehensive Data Integration Solution
OracleApplications
Ключевые интеграционные продукты
• Comprehensive Integration
• ELT/ETL for Bulk Data
• Service Bus
• Process Orchestration
• Human Workflow
• Data Grid
• Business Data / Metadata
• Statistical Analysis
• Time Series Reporting
• Integrated Data Quality
• Cleansing & Parsing
• De-duplication
• High Performance
• Integrated w/ODI
• Heterogeneous E-LT & ETL
• High-speed Transformations
• OLAP Data Loading
• Data Warehouse Loading
• Real Time Data Replication
• Changed Data Capture
• DBMS High Availability
• Disaster Tolerance
• Data Service Modeling
• XQuery Data Federation
• Data Security/Redaction
• XA Compliance
• Лидирующее решение в области интеграции и репликации данных в реальном времени
• Более 2000 клиентов с 8,000+ внедрениями
в финансовом секторе, связи, медицине,
госсекторе, ритейле и коммуникациях:
• Top 3 из 5 крупнейших коммерческих
банков
• Top 3 из 3 самых нагруженных ATM сетей
• Top 7 из 10 компаний финансового
сектора
• Top 4 из 5 телекоммуникационных
провайдеров
• Top 3 из 5 крупнейших
продовольственных и аптечных сетей
GoldenGate – стратегическое решение для OracleЛучшее в своем классе решение
Oracle GoldenGate обеспечивает сбор, маршрутизацию, преобразование и доставку транзакционных данных между гетерогенными средами в реальном времени c минимальной дополнительной нагрузкой
Ключевые отличия:
Не нарушаем работу, минимальное влияние, задержки меньше секунды
Открытая, модульная архитектура –поддержка гетерогенных источников и целей
Транзакционная целостность – устойчиво к прерываниям работы и сбоям
Что такое Oracle GoldenGate?
Производительность
Гибкость и расширяемость
Надежность
Oracle GoldenGate – единая платформа
Oracle GoldenGate гетерогенная поддержка
Базы данных O/S и платформы
Сбор:
▪ Oracle
▪ DB2
▪ Microsoft SQL Server (+2008, 2012)
▪ Sybase ASE
▪ Ingres
▪ Teradata
▪ Enscribe
▪ SQL/MP
▪ SQL/MX
▪ MySQL
▪ JMS очереди
Применение:
▪ Вышеперечисленные плюс:
▪ TimesTen, Netezza, Greenplum, HP
▪ ETL продукты
▪ JMS очереди
Windows 2000, 2003, XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM z/OS
Как работает Oracle GoldenGate
LAN/WANInternet
Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).
SourceOracle &
Non-OracleDatabase(s
)
TargetOracle &
Non-OracleDatabase(s
)
Capture
Как работает Oracle GoldenGate
LAN/WANInternet
Capture
Trail
SourceOracle &
Non-OracleDatabase(s
)
TargetOracle &
Non-OracleDatabase(s
)
Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).
Trail: записываем данные для маршрутизации.
Как работает Oracle GoldenGate
LAN/WANInternet
Capture
TrailPump
Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).
Trail: записываем данные для маршрутизации.
Pump: передает данные на целевую систему
SourceOracle &
Non-OracleDatabase(s
)
TargetOracle &
Non-OracleDatabase(s
)
Как работает Oracle GoldenGate
LAN/WANInternet
TCP/IP
Capture
TrailPump
Trail
Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).
Trail: записываем данные для маршрутизации.
Pump: передает данные на целевую систему
Маршрутизация: данные могут быть сжаты и зашифрованы при передаче
SourceOracle &
Non-OracleDatabase(s
)
TargetOracle &
Non-OracleDatabase(s
)
Как работает Oracle GoldenGate
LAN/WANInternet
TCP/IP
Capture
TrailPump Delivery
Trail
Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).
Trail: записываем данные для маршрутизации.
Pump: передает данные на целевую систему
Маршрутизация: данные могут быть сжаты и зашифрованы при передаче
Delivery: применяет данные с транзакционной целостностью
SourceOracle &
Non-OracleDatabase(s
)
TargetOracle &
Non-OracleDatabase(s
)
Как работает Oracle GoldenGate
LAN/WANInternet
TCP/IP
Двунаправленная
Capture
TrailPump Delivery
Trail
Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).
Trail: записываем данные для маршрутизации.
Pump: передает данные на целевую систему
Маршрутизация: данные могут быть сжаты и зашифрованы при передаче
Delivery: применяет данные с транзакционной целостностью
SourceOracle &
Non-OracleDatabase(s
)
TargetOracle &
Non-OracleDatabase(s
)
Топологии Oracle GoldenGate
Однонаправленная Перенос нагрузки
на чтение
ДвунаправленнаяLive Standby или
Active-Active for HA
Peer-to-PeerБалансировка нагрузки с несколькими главными
Трансляция Распространение
данных
Интеграция/консолидацияХранилище данных
КаскадированиеData Marts
Oracle Management Pack for Oracle
GoldenGateПростое управление решением Oracle GoldenGate
• Управляет, формирует,
конфигурирует и отслеживает
компоненты Oracle GoldenGate
• Ключевые особенности:
• Централизация управления
модулями GoldenGate
• Rich-client и Web-based интерфейс
• Отслеживает работу в реальном
времени
• Не влияет на работу
Comparison of Data Acquisition Methods
Attribute Batch
Scripts
SQL
Query
Database
Triggers
Oracle
GoldenGate
Latency Hours Hours-
Minutes
Minutes Sub-seconds
Data Volume Medium Low Low High
Processing
Overhead
Very High
20-50+%
High
15-20%
Medium-High
10-15%
Low
1-3%
Transaction
Integrity
No No No Guaranteed
Transformations Intermediate Basic Basic Basic -supplemented with
ODI EE
Implementation
Complexity & Risks
Medium Medium to
High
High Low
Data Recoverability Medium Poor Poor Full
Management
Overhead
Medium Medium High Low
GoldenGate и Data Guard
• Для распространения информации & консолидации, обновлений &
изменения приложений
• Используйте GoldenGate - гетерогенный, active-active, преобразования,
подмножество
• Для восстановления после сбой / Защиты данных / HA
• Простая полная защита Oracle Database
• Используйте Active Data Guard
• Гибкое HA, active-active, изменения схемы, изменение платформы
• Используйте GoldenGate
• Для лучшей защиты и распространения данных используйте оба продукта
Oracle
Active Data
Guard
Oracle DB Primary Oracle DB Standby
Heterogeneou
s
Distributed
Fully-active
Subset
Replicas
Oracle
GoldenGate
Agenda
• Введение в Oracle GoldenGate
• GoldenGate для распределенных центров
• GoldenGate и ODI для распределенных центров
• GoldenGate для безостановочной миграции
• Технические подробности
• Вопросы&Ответы
Oracle GoldenGate для Oracle DatabaseПовышаем ROI на
существующих серверах и синхронизация данных по всему миру
•
•Используем вторичные
системы для транзакций
• Нет остановки в случае
запланированного или
незапланированного
останова
• Синхронизация данных
между датацентрами
по всему миру
Решение
• Перенос данных о производстве во многих направлениях менее чем за секунду
• Позволяет транзакциям приложения быть распределенным по нескольким базам данных
• Поддержка 24*7*365 глобального процесса с точными и надежными данными
• Перенос операционной отчетности на Oracle Exadata для повышения производительности OLTP
Пример клиента: Research in Motion (RIM)Глобальная интеграция данных и высокая доступность
Oracle GoldenGate
Oracle RAC
Oracle Exadata
• Каждая фабрика должна приспосабливаться к производству новых устройству и планировать загрузку в зависимости от производства на других фабриках
• Фабричные системы должны быть доступны в режиме 24x7, чтобы работать на глобальном рынке
Oracle для хранилищ данных в реальном
времениВысочайшая скорость интеграции данных в реальном
времени, Высочайшая скорость пакетной трансформации
BI Application
Production
OLTP Databases
DW
tx6 tx5 tx4 tx2 tx1tx3
Real-time streaming of transactions
LAN / WAN /
InternetCapture
Source TrailTarget Trail
Deliver
• Задержка данных менее секунды
• Минимальная доп. нагрузка, нет пакетного окна
• Высокая скорость, преобразования в базе данных
• Согласованные на чтения данные, ссылочная целостность
• Полная восстановимость данных с помощью Trail файлов
ODI
Agenda
• Введение в Oracle GoldenGate
• GoldenGate для распределенных центров
• GoldenGate и ODI для распределенных центров
• GoldenGate для безостановочной миграции
• Технические подробности
• Вопросы&Ответы
Oracle GoldenGate and Oracle Data
IntegratorNon-invasive Data Capture with E-LT Micro-Batch
ProcessingApplication Real Time BI
(using Data Copy)Analytic BI
(Facts & Dims)
Oracle Data Integrator
Consistency Window
Oracle GoldenGate
Auto-GenerateData Lineage
BI ToolsMetadata
Задачи проекта миграции
• Пошаговая, безостановочная миграция в течение длительного времени (оценочно 1,5 года).
• Работа в режиме Active – Active (6 М транзакций в день, пиковая нагрузка 2 М транзакций в
час).
• Различные платформы и различные версии СУБД.
• Различные структуры баз данных. Требуются преобразования простых типов, а также BLOB,
CLOB, XML.
Архитектура как есть Архитектура как должно быть
Логическая архитектура решения
Физическая архитектура решения
Solaris 11.1
CPU 2х16
RAM 2x96GB
HDD 1.2 TB disks group
RH 5.8
CPU 8
RAM 12GB
HDD 1.5 TB
Результаты тестированияФункциональной тестирование: пройдено 100%• Трансформация структуры.
• Агрегация
• Изменение типа данных.
• Регулярные выражения.
• Корректность преобразования русскоязычных символов.
• Корректность наложения фильтрации на реплицируемые данные.
• Захват изменений с двух нод кластера.
Нагрузка Система Кол-во строк Разбор GG
мин.
Разбор ODI
мин.
3-х
кратная
V3 5 000 000 11 34
V4 2 000 000 12 142
20-ти
кратная
V3 31 000 000 29 126
V4 16 000 000 31 211
Нагрузочное тестирование: 20-ти кратная нагрузка
Agenda
• Введение в Oracle GoldenGate
• GoldenGate для распределенных центров
• GoldenGate и ODI для распределенных центров
• GoldenGate для безостановочной миграции
• Технические подробности
• Вопросы&Ответы
Состояния недоступностиИсключить все остановы для Постоянной Доступности
Доступен – нет проблем
• Запланированны
й останов
• Обновление
• Миграция
• Поддержка• Незапланированный
останов
• Сбой системы
• Сбой данных
• Полу-доступен
• Проблемы с
производитель
ностью
Oracle GoldenGate для Oracle DatabaseИсключаем
останов во время обновления базы данных
• Безостановочная
миграция с 8i, 9i,
10g на 11g
• Миграция с других
баз данных (MS,
Sybase)
• Миграция на новую
версию приложения
• Минимизируем
риски с помощью
failback
Миграция без остановки, шаги: 9i → 11g Cross-Platform
9i
Solaris
1. Запуск модуля захвата изменений
2. Запуск процесса клонирования, потом
обновление до 11g
3. Cross platform transportable tablespaces
экспорт метаданных
4. Используем полный экспорт базы вNOROWS
(Views, Packages, etc)
1
9i Clone → 11g
Solaris2
3,4Oracle
GoldenGate
Capture
9i
Solaris
9i Clone →
11g
Solaris
11g
Linux
1. Запуск модуля захвата изменений
2. Запуск процесса клонирования, потом
обновление до 11g
3. Cross platform transportable tablespaces
экспорт метаданных
4. Используем полный экспорт базы
вNOROWS (Views, Packages, etc)
1
2
3,4
5
6,7
5. Новая инсталляция11g
6. Cross platform transportable
tablespaces импорт метаданных
7. Полный импорт в IGNORE режиме
Миграция без остановки, шаги: 9i → 11g Cross-Platform
Oracle
GoldenGate
Capture
9i
Solaris
9i Clone → 11g
Solaris
11g
Linux
1. Запуск модуля захвата изменений
2. Запуск процесса клонирования, потом
обновление до 11g
3. Cross platform transportable tablespaces
экспорт метаданных
4. Используем полный экспорт базы в
NOROWS (Views, Packages, etc)
1
2
5
8
5. Новая инсталляция11g
6. Cross platform transportable tablespaces
импорт метаданных
7. Полный импорт в IGNORE режиме
8. Запуск модуля доставки изменений
9. **SWITCHOVER** (not depicted)
3,4
6,7
Миграция без остановки, шаги: 9i → 11g Cross-Platform
Oracle
GoldenGate
Capture
Oracle
GoldenGate
Delivery
9i
Solaris
11g
Linux
Дополнительные шаги:
• Запуск модуля захвата изменений на 11g
• Запуск процесс доставки на 9i (old source)
1
5
8
1
0
1
1
9i Clone → 11g
Solaris2
3,4
6,7
Failback
contingency
Миграция без остановки, шаги: 9i → 11g Cross-Platform
Пример клиента: First Data
CorporationБезостановочная миграция базы данных
Решение:• Oracle 8i на 10g Database Upgrade & OS миграция на AIX
• Поэтапная миграция в течение 3 месяцев
• Обе системы в оперативном доступе в течение 1 месяца в режиме Active-Active, чтобы избежать останова
IIP Infrastructure
81,000
агентов одновременно
Oracle 8i
HP/UX
Oracle 10g
AIX
IIP Infrastructure
Oracle GoldenGate
• Merchant Services Infrastructure для web & call orders требовала обновления с 8i
• Возможность остановки отсутствовала
Oracle GoldenGate для Oracle DatabaseИзбегаем
незапланированного останова с помощью Active Data Guard & Oracle
GoldenGate
• Active Data Guard для
восстановления после
сбоя и защиты данных:
• Oracle-Oracle
databases
• Oracle GoldenGate для
восстановления после
сбоя и защиты данных:
• Non-Oracle platforms
• Конфигурация
active-active
• Cross-OS и Oracle
database версий
Oracle GoldenGate для Oracle DatabaseПовышение
производительности основной системы и снижение расходов
• Перенос нагрузки на чтение с основной системы:
• Гетерогенная
конфигурация
• Другая
OS, версия
базы данных,
другая база
• Перенос
нагрузки с
унаследов.
системы
• Среды
active-active
Пример клиента : Sabre HoldingСнижены расходы и повышена производительность
Oracle GoldenGate
Oracle & MySQL Databases
Oracle Databases
“Lookups”
GoldenGate Transaction Updates
Up to 800,000 p/hour, 1.6 TB/day
Air Travel
Shopping
Schedule &
Availability
• Поддержка миллиардов транзакций в день
• Высокая сложность архитектуры
Решение:
• Перенос “чтения” на real-time реплики
➢ 80% снижение в TCO
• Миграция движка магазина и контента с NonStop платформы на Linux/Oracle
➢ 64% снижение стоимости лицензий
➢ 88% снижение стоимости оборудования
• Миграция 160 реплик ‘для чтения’ с MySQL на Oracle
➢ 69% снижение стоимости поддержки софта
➢ 81% снижение в будущих затратах на оборудование
➢ 79% уменьшение стоимости хостинга
Выгода от Oracle GoldenGate Ниже расходы, Меньше риск,
Революционное понимание бизнеса
• Распространяем данные в реальном времени для более точного принятия решения
• Повышаем удовлетворенность клиентов, обслуживая без остановов
• Минимизация потерь данных и поддержание целостности
• Обеспечить откат в случае сбоя миграции
• Избегая остановов, снижаем расход бизнеса и IT
• Переносим нагрузку на чтение с унаследованных систем, масштабируем эффективнее
Ниже расходы, Выше эффективность
Меньше риск, Гарантированная целостность
Улучшить операции бизнеса
Oracle GoldenGate VeridataСравнение данных без остановки
• Высокоскоростное решение для
сравнения данных с низкой
дополнительной нагрузкой
• Выявляет несоответствия данных
между гетерогенными базами данных
• Не прерывает предоставление
сервиса
• Плюсы:
• Снижает финансовые/юридические
риски
• Ускоряет и упрощает работу IT при
сравнении источников данных
• Не нарушает работу бизнес-систем
• Уверенность в дублирующих системах
• Уверенность при принятии решении и
формировании отчетности
Oracle GoldenGate VeridataСравнение данных без остановки
• Высокоскоростное решение для
сравнения данных с низкой
дополнительной нагрузкой
• Выявляет несоответствия данных
между гетерогенными базами данных
• Не прерывает предоставление
сервиса
• Плюсы:
• Снижает финансовые/юридические
риски
• Ускоряет и упрощает работу IT при
сравнении источников данных
• Не нарушает работу бизнес-систем
• Уверенность в дублирующих системах
• Уверенность при принятии решении и
формировании отчетности
Oracle GoldenGate 11gR1 New Features
• Bounded recovery
• LOB теперь из журналов
• OLE DB для MSSQL
• Bind переменные в SQL
• Сбор изменений из кэша ASM
• Timeouts для транзакций
• Улучшенная трассировка
• Уведомления о модификации схемы
• DDL – двусторонний, расширена поддержка
• Отключение триггеров
• Новые типы данных
• Capture для Direct Load
Производительность Управляемость Гибкость
Платформы и инфраструктура
Oracle, SQL Server, MySQL, DB2 for iSeries, JMS
Direct Load INSERTs
• Using replication, actual application operations or changes initiated by a trigger can cause database inconsistencies
• Oracle GoldenGate now supports direct-load INSERTs
• Redo logs must have compatibility of Oracle 10g or later and supplemental logging must be enabled
• Database must be in archive log mode and the affected object must be in logging mode
• The following methods are supported:
- /*+ APPEND */ hint
- /*+ BUFFER +/ hint
- /*+ PARALLEL */ hint
- SQLLDR with DIRECT=TRUE
• SKIPDIRLOADINSERT option of TRANLOGOPTIONS causes Extract to skip all Oracle direct-load INSERTs
Oracle GoldenGate 11g – JMS как транспорт
JMS
Двунаправленная
Capture
TrailPump Delivery
Trail
Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).
Trail: записываем данные для маршрутизации.
Pump: передает данные на целевую систему
Маршрутизация: данные могут быть сжаты и зашифрованы при передаче
Delivery: применяет данные с транзакционной целостностью
SourceOracle &
Non-OracleDatabase(s
)
TargetOracle &
Non-OracleDatabase(s
)
New Features: GoldenGate 11.1 PS1
• Oracle Transparent Data Encryption Support (TDE)
• Column and Tablespace Level
• Use Extract DBOPTIONS Parameter DECRYPTPASSWORD
• Extract “Read-Ahead” Mechanism
• Now Parses and Reads Data in Parallel
• Reduces I/O Latency
• Replicat Asynchronous Commit
• Replicat Uses NOWAIT Option on Commit
• Improved Performance
• Available Oracle 10gR2 and Later Targets
New Features: GoldenGate 11.1 PS1
• Extract Now Integrated with RMAN for Recovery
• By Default Retains Appropriate Logs for Bounded Recovery
• Retention can be Configured for Normal Recovery
• Use Extract TRANLOGOPTIONS Parameter LOGRETENTION
• Smarter Extract in Oracle RAC Environment
• Extract now uses Redo Log Heartbeat instead of SCN to Maintain
Transaction Order
• Delivery to EHCC-Compressed Tables in Oracle Exadata
• Use Replicat Parameter INSERTAPPEND
Value Propositions для Oracle GoldenGate
Обеспечивается непрерывный сервис для бизнес-критичных
приложений, позволяя избежать запланированных и
незапланированных простое и соответствующих потерь
Меньшие IT расходы через поддержку гетерогенности для
различных платформ, что снижает затраты на инфраструктуру
Снижение рисков за счет гарантированности целостности
данных и надежности передачи в целевые системы
Высокая эффективность за счет высокой производительности
и масштабируемости средств мы обеспечены данными в
реальном времени
Облегчается совместное использование данных за счет
того, что нет влияния на существующие приложения при
извлечении данных в реальном времени
Oracle GoldenGate…
Заключение
• Характеристики
• минимальная нагрузка, низкая задержка
гетерогенность, большая база клиентов, для
Oracle - native
• Использование – построение RTDW, Query
offloading, миграция, отказоустойчивость
• Дополнительное – удобное GUI, Veridata
ALEXANDER RYNDIN
Старший консультант по
пространственным технологиям и
технологиям хранилищ данных
Moscow,
Krasnopresnenskaya
nab., 18, Block C
phone +7(495) 641-1400
fax +7(495) 641-1414
http://www.oracle.com/
http://www.oraclegis.com/
Oracle CIS