Diventare famosi con lo stack ELK

DIVENTARE FAMOSI CON LO STACK ELKdi Alfonso Iannotta

MI PRESENTO:- Laureato in informatica

- Da 20 anni lavoro nell’IT

- Appassionato di tecnologie Open Source

Curva di apprendimento rapida

Valore aggiunto immediato

Tecnologia open source

RobustoAffidabileEfficiente

TIMELINEPERCHÈ AVRETE SUCCESSO

COME APPLICARE LO STACKELK

6. Codivisione con: Business, Sviluppo Operations …

1. Acquisizione dei log da Server, Network Device, Business Application, Database...

2. Interazione con i sistemi di Allarmistica e Ticketing

4. Troubleshooting efficiente Analisi proattiva 3. Retention breve termine

Archiviazione lungo termine

5. Analisi Incident, Report lungo periodo Correlazione eventi

COSA È LO STACK ELK

• Ingestion• Parsing

Step 1Title

• Indicizzazione• Aggregazione

Step 2Title

• Presentazione

Step 3Title

- Basato su

- Organizzato in Cluster

- Nodi specializzati: Data,Master,Ingestion,Coordinating

- Gestisce dati in formato Json

- Utilizza le Shards blocchi di dati replicati

- Scritto in jruby- Input Plugin: file, SQL, JMX, EXEC, TCP/UDP …- Filter Plugin: Grock, KV, XML, aggregate, …- Output Plugin: Elasticsearch, Redis, Kafka, …- Information enrichment: GeoIP,

- Costruisce grafici, tabelle o mappe

- Effettua query su Elasticsearch

- Supporta le Timeseries

- Realtime

- Drill down tramite filtri

ARCHITETTURA ELKData node                 Sono i nodi del cluster

su cui risiedono i dati.  Master node                Sono i nodi che gestiscono

i Data node.          Coordinating node                Ospitano Kibana, ricevono tutte

le richieste di visualizzazione dei dati.          

  Ingestion node                 Sono i nodi che trasportano i dati

nella piattaforma Elasticsearch.

ECOSISTEMA ELK

- Broker messages:

- Twemproxy (Nutcracker)

- Curator

- Rsyslog

ELK È UN FRAMEWORK BIG DATA?

Perche si Perche noNon supporta gli algoritmi tipici dei Big Data

• Machine learning• Data mining• Analisi predittive

• Compliant con le 4V di Big Data

• Volume• Velocità• Varietà• Veridicità

Near Real Time

ELK + HADOOP = ES-HADOOP

DOMANDE E RIFERIMENTI

[email protected]