www.netways.de // blog.netways.de // @netways We love Open Source WEBINAR | 07.11.2014 LOGSTASH: WINDOWS UND LINUX LOGMANAGEMENT THOMAS WIDHALM, CHRISTIAN STEIN | NETWAYS GMBH
Jun 20, 2015
www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR | 07.11.2014
LOGSTASH: WINDOWS UND LINUX
LOGMANAGEMENT
THOMAS WIDHALM, CHRISTIAN STEIN | NETWAYS
GMBH
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG MITARBEITER
■ Christian Stein Account Manager Bei NETWAYS seit 2012
■ Thomas Widhalm Senior Consultant Bei NETWAYS seit 2013
www.netways.de // blog.netways.de // @netways
We love Open Source
AGENDA
■ Vorstellung NETWAYS
■ Was ist Logstash
■ Logstash Architektur
■ Live Demo
■ Fragen und Antworten
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
■ Firmengründung 1995
■ Open Source seit 1997
■ Aktuell 40 Mitarbeiter
■ Spezialisierung in den Bereichen
Open Source Systems Management
und Open Source Datacenter
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KOMPETENZEN
■ Monitoring
■ Graphing
■ Logmanagement
■ Konfigurationsmanagement
■ Reporting
■ Private Cloud
■ Backup
■ Projektmanagement
■ Consulting
■ Hosting
■ Managed Services
■ Development
■ Support
■ Betrieb
■ Schulungen
■ Konferenzen
■ Monitoring Hardware
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS PRODUKTE
GRAPHITE
www.netways.de // blog.netways.de // @netways
We love Open Source
■ Open Source Monitoring
Conference
• 18. – 20. November 2014 (Nürnberg)
• 250 Teilnehmer (2013)
• Monitoring Best Practices
■ OpenNebula Conference
• 02. – 04. Dezember 2014 (Berlin)
• 100 Teilnehmer (2013)
• Cloud Virtualisierung
NETWAYS KONFERENZEN
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – MONITORING UND REPORTING
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – PUPPET KONFIGURATIONSMANAGEMENT
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS COMMUNITY
www.netways.org
■ NETWAYS Addons
■ NETWAYS Plugins
www.icinga.org
■ Development
■ Hosting
exchange.icinga.org
■ Icinga / Nagios Addons und
Plugins
■ > 2000 Projekte
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – CONSULTING (AUSZUG)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – HOSTING (AUSZUG)
www.netways.de // blog.netways.de // @netways
We love Open Source
UNSERE LEISTUNGEN IM ÜBERBLICK
■ Konzeptionierung und Planung
■ Workshops & Consulting zur Implementierung vor Ort
■ Betrieb Komplette Logmanagementsysteme Teilweise Betriebsunterstützung
■ Entwicklungsleistungen Plugins und Filter Systemintegration
■ Schulungen Standardisierte Schulungsmodule Individuell vor Ort
■ Support Standardverträge Individuelle Supportkonzepte
■ Konferenzen
www.netways.de // blog.netways.de // @netways
We love Open Source
OPEN SOURCE LOGMANAGEMENT
WAS IST LOGSTASH
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH
■ Ziele
Logdateien in großen Mengen behandeln
Analyse der Daten
Anbindung an Monitoringsysteme
Dashboards für Visualisierung und Analyse
Weiterleitung der Daten an Drittsyteme
www.netways.de // blog.netways.de // @netways
We love Open Source
PROBLEMSTELLUNG
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
www.netways.de // blog.netways.de // @netways
We love Open Source
VORGEHEN OHNE LOGMANGEMENT
■ Regex Magic
^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\
d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]
+)\" \"([^\"]+)\"
■ Pro Logformat eine eigene Regex
■ Aufwendig und zeitintensiv
■ Nur für technisch Versierte
■ Schlecht für die Teamarbeit
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
■ Zentrales Speichern von Logs und Events
■ Sammeln von verschiedenen Quellen
■ Logs verändern / strukturieren
■ Transportieren der Logs
■ Einfache Installation
■ Integration in bestehende Infrastruktur
■ Lightweight
■ Open Source
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Logstash:Pipe on Steroids
Input
Filter
Output
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG DER DATEN
■ Vorher 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json
HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"
■ Nachher "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer":
"https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101
Firefox/22.0"
■ Pattern "%{COMBINEDAPACHELOG}"
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Server
SwitchWebapplikatio
n
• Input• Output
• Key-Value Store
• Puffer
• Input• Filter• Output
• Index• Queries
www.netways.de // blog.netways.de // @netways
We love Open Source
REDIS
■ Key-Value Store
■ Einfache Installation
■ Eingebaute Replikation
■ Sehr schnell
■ Einträge werden nach Abholung gelöscht
www.netways.de // blog.netways.de // @netways
We love Open Source
ELASTICSEARCH
■ Effizientes Speichern von Daten
■ Automatische Indexes
■ RESTful API
■ Hochverfügbar
■ Clusterfähig (Nodes, Shards, Replika)
■ Realtime Analyse der Daten
■ Basiert auf Apache Lucene
■ Empfohlener Output
www.netways.de // blog.netways.de // @netways
We love Open Source
INTEGRATION IN DIE IT-LANDSCHAFT
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH PLUGINS UND FILTER
■ drupal_dblog■ elasticsearch■ eventlog■ exec■ file■ ganglia■ gelf■ gemfire■ generator■ graphite■ heroku■ imap■ irc■ log4j■ lumberjack■ pipe■ rabbitmq
■ redis■ relp■ s3■ snmptrap■ sqlite■ sqs■ stdin■ stomp■ syslog■ tcp■ twitter■ udp■ unix■ varnishlog■ websocket■ wmi■ xmpp■ zenoss■ zeromq
■ advisor■ alter■ anonymize■ checksum■ cidr■ cipher■ clone■ collate■ csv■ date■ dns■ drop■ environment■ extractnumbers■ gelfify■ geoip■ grep■ grok■ grokdiscovery■ json■ json_encode■ kv
■ metaevent■ metrics■ multiline■ mutate■ noop■ prune■ railsparallel-
request■ range■ ruby■ sleep■ split■ syslog_pri■ translate■ urldecode■ useragent■ uuid■ xml■ zeromq
■ boundary■ circonus■ cloudwatch■ datadog■ datadog_metrics■ elasticsearch■ elasticsearch_htt
p■ elasticsearch_riv
er■ email■ exec■ file■ ganglia■ gelf■ gemfire■ google_cloud_st
orage■ graphite■ graphtastic■ hipchat■ http■ irc■ jira■ juggernaut■ librato■ loggly
■ lumberjack■ metriccatcher■ mongodb■ nagios■ nagios_nsca■ null■ opentsdb■ pagerduty■ pipe■ rabbitmq■ redis■ riak■ riemann■ s3■ sns■ sqs■ statsd■ stdout■ stomp■ syslog■ tcp■ udp■ websocket■ xmpp■ zabbix■ zeromq
Input (36) Filter (40) Output (50)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
■ Integration in nahezu jede Umgebungen Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch
■ Skalierbarkeit Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika)
www.netways.de // blog.netways.de // @netways
We love Open Source
ANWENDUNGSMÖGLICHKEITEN
■ Systemlogs (Problemanalyse)
■ Webserver Access- und Errorlogs
■ Logs der eigenen Applikation (Profiling)
■ Alerts via Icinga, E-Mail, XMPP, …
■ Statistiken (Graphite)
■ uvm.
www.netways.de // blog.netways.de // @netways
We love Open Source
LIVE DEMO
www.netways.de // blog.netways.de // @netways
We love Open Source
FRAGEN UND ANTWORTEN
www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR KALENDER
■ Icinga Web 2: Modernes Web-Framework der nächsten
Generation 25. November 2014 - 10:30 Uhr
■ Puppet: Windows Configuration Management 12. Dezember 2014 – 10:30 Uhr
■ NETWAYS: Jahresrückblick 2014 18. Dezember 2014 – 10:30 Uhr
www.netways.de // blog.netways.de // @netways
We love Open Source
KONTAKTDATEN
Vielen Dank für Ihre
Aufmerksamkeit!
NETWAYS GmbH
Deutschherrnstrasse 15-19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
E-Mail: [email protected]
Website: www.netways.de
Twitter: twitter.com/netways
Facebook:
facebook.com/netways
Blog: blog.netways.de