Top Banner
<Insert Picture Here> Oracle BIG DATA Appliance новые подходы к обработке сверхбольших объемов данных. Олег Мельничук Oracle Hardware, СIS
12

Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Feb 09, 2020

Download

Documents

dariahiddleston
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

<Insert Picture Here>

Oracle BIG DATA Appliance – новые подходы к

обработке сверхбольших объемов данных.

Олег Мельничук

Oracle Hardware, СIS

Page 2: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Инженерный уровень оптимизации ИТ

решений

Management

Tools EMC/NetApp

Management

Tools Brocade

Management

Tools HP

Management

Tools VMware

Management

Tools Red Hat Enterprise Linux

Management

Tools Oracle

Интеграция на базе отдельных компонент

Ниже стоимость/ Больше возможностей/

Быстрее внедрение/ Проще и удобнее в обслуживании и

сервисе

Applications

Middleware / Database

OS / Virtualization

Server

Storage Network

Storage

Инженерный стек Oracle

Management Tools

Сложно, накладно и много рисков

Page 3: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Общее назначение

SPARC SuperCluster

Определенные задачи

Database Appliance Exalytics

Big Data Exalogic Exadata

Engineered Systems & Appliances

Page 4: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Предпосылки для Big Data Аppliance

• Oracle NoSQL DB, Hadoop,

доступны к скачиванию и

использованию

• Однако, даже несмотря на то, что

Hadoop – Open Source, настройка

и конфигурирование кластера из

десятков узлов требует высокой

квалификации

• Для того, чтобы помочь заказчикам использовать

преимущества работы с Big Data, Oracle создает

Big Data Appliance

Page 5: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Что такое Big Data Аppliance?

• Программно-аппаратный комплекс Oracle,

продолжающий линейку Engineered

Systems & Appliances Oracle

• 18 серверов с предустановленным и

предконфигурированными NoSQL DB,

Hadoop и другим ПО

• До 648 TB на дисках.

Page 6: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

•18 Sun X4270 M2 Servers

– 48 GB memory per node = 864 GB memory

– 12 Intel cores per node = 216 cores

– 36 TBstorage per node = 648 TB storage

•40 Gb p/sec InfiniBand

•10 Gb p/sec Ethernet

Oracle Big Data Appliance Hardware Предварительная конфигурация

Page 7: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Строительные блоки Big Data Appliance

• 12 disks - 3TB 7200 RPM

High Capacity SAS/SATA

• 2 Six-Core Intel Xeon Processors (L5640)

• Dual ported 40 Gb/sec InfiniBand

• Оптимизированное ПО:

• Hadoop HDFS

• HBase and Hive

• NoSQL Database и реплики

Page 8: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Возможность расширения до бесконечности

•72 узла

•864 ядра

•2.6 PB места на дисках

Page 9: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

•Oracle Linux 5.6

•Java Hotspot VM

•Cloudera Hadoop Distribution

Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Administration Tools

•R Distribution

•Oracle Loader for Hadoop

•Oracle NoSQL Database

•Oracle Adapters for Hadoop:

–Oracle R Connector for Hadoop

–Oracle SQL to HDFS Connector

–Oracle Data Integrator Application Adapter for Hadoop

–Oracle Loader for Hadoop

Oracle Big Data Appliance Software Предварительная конфигурация

Page 10: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Big Data Appliance Пример использования

Oracle Big Data Appliance

Oracle Exadata

InfiniBand

Сбор Организация Анализ и визуализация Поток

Oracle Exalytics

InfiniBand

Page 11: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Целевая аудитория Big Data Аppliance?

• Веб-проекты

• Розница - интернет или традиционные бизнесы с

большой нагрузкой на вебсайты или с потребностью

анализировать логи

• Банки – анализ мошенничеств, анализ предпочтений

клиентов

• Производство – сбор и обработка данных с датчиков

• Безопасность – накапливание и обработка огромных

объемов различных данных по запросам

Page 12: Oracle Big Data Appliance - citia.co.uk · •Oracle Linux 5.6 •Java Hotspot VM •Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop,

Questions