Cassini I Guiding ahead
© 2013 Cassini Consulting
Kai Wilken I Cassini & Thomas Falkenberg | Payback Version 1.0
Im Dreiklang Performance sichtbar machen Logstash, Kibana, Elasticsearch
Thomas Falkenberg
! Performance Engineer, Payback GmbH ! #performance ! #devops ! #opensource ! @falkenbt ! [email protected]
3 15.11.13 Cassini Consulting
Kai Wilken
! Consultant bei Cassini Consulting
! #physik ! #devops ! #performance
! @dervanil ! [email protected]
4 15.11.13 Cassini Consulting
Maisfeld + Intro + Homer
15.11.13 Cassini Consulting 5
???
6 15.11.13 Cassini Consulting
7 15.11.13 Cassini Consulting
Und das Maisfeld bei Payback...
Warum brauche ich Metriken?
8 15.11.13 Cassini Consulting
Metrik Cycle
Optimierung Analyse
Validierung Entwicklung
Analyse der Auswirkungen und Sammlung von Metriken
Verbesserung auf Basis der Beobachtungen
Überprüfung / Bestätigung der Effekte durch Optimierung
Neue oder veränderte Features und Funktionen
Ziele von zentraler Logsammlung und Auswertung
! Überblick in komplexen Umgebungen behalten ! Unterstützung bei der Ursachenforschung
in Fehler- / Problemfällen ! Verhalten des Systems unter realen Bedingungen
beobachten ! Ressourcennutzung und mögliche Engpässe
kennen, Trends ableiten können ! Auswirkungen von Veränderungen (z.B. neues
Release) transparent machen und bewerten können ! Kontrolle von vertraglichen Verpflichtungen (SLAs)
9 15.11.13 Cassini Consulting
Wie arbeitet logstash?
10 15.11.13 Cassini Consulting
Filter
Redis Logfile TCP Graphite Twitter SVN …
Redis Logfile TCP Graphite Twitter SVN Elasticsearch …
• Grok • Multiline (z.B. für Stacktrace) • Bedingungen • Key-value (z.B. Request Parameter) • …
Grok it!
…
2013-11-06 09:42:13,274;INFO;d3e7a1db;getAccountTransactions;admin;196;0; 2013-11-06 09:42:13,375;INFO;8f72ea2c;getAccountBalance;admin;121;0; 2013-11-06 09:42:13,454;INFO;caab93cd;updateMember;admin;653;COR-00011;
11 15.11.13 Cassini Consulting
%{DATA:timestamp};%{DATA:loglevel};%{DATA:requestId};%{DATA:service};%{DATA:consumer};%{INT:responseTime:int};%{DATA:errorCode};
logfile
grok pattern
Baukasten: logstash, elasticsearch, kibana, graphite, PeX
12 15.11.13 Cassini Consulting
System under Test
Database
PErformance eXposure
1. Preload
2. Warmup 3. Load-Test
4. Report
Metrics sampler
PayLoad
kibana
13 15.11.13 Cassini Consulting
DEMO
Wie geht es weiter…
14 15.11.13 Cassini Consulting
QA
DEV
OPS
"Big Data"
Lessons learned
15 15.11.13 Cassini Consulting
?
Lernkurve Integration Support Spaß
Security Hausaufgaben Performance Housekeeping Interpretation
!
Fragen? Fragen!
16 15.11.13 Cassini Consulting
Links
! Elasticsearch: http://www.elasticsearch.org/
! Kibana: http://www.elasticsearch.org/overview/kibana/
! Logstash: http://logstash.net/
! Graphite: https://github.com/graphite-project
! Statsd: https://github.com/etsy/statsd/
! MetricsSampler: https://github.com/dimovelev/metrics-sampler
17 15.11.13 Cassini Consulting
Cassini Consulting Niederlassung Hamburg Kai Wilken Johannisbollwerk 16 20459 Hamburg Deutschland T +49 (0)151 11 44 38 53 [email protected] visit www.cassini.de
Alle Angaben basieren auf dem derzeitigen Kenntnisstand. Änderungen vorbehalten. Dieses Dokument von Cassini Consulting ist ausschließlich für den Adressaten bzw. Auftraggeber bestimmt. Es bleibt bis zur einer ausdrücklichen Übertragung von Nutzungsrechten Eigentum von Cassini. Jede Bearbeitung, Verwertung, Vervielfältigung und/oder gewerbsmäßige Verbreitung des Werkes ist nur mit Einverständnis von Cassini zulässig.
15.11.13 Cassini Consulting 18
