Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen

• 1. Cassini I Guiding ahead

2. Im Dreiklang Performance sichtbar machen Logstash, Kibana, ElasticsearchKai Wilken I Cassini & Thomas Falkenberg | Payback Version 1.0 2013 Cassini Consulting 3. Thomas Falkenberg!Performance Engineer, Payback GmbH! ! !#performance #devops #opensource! !@falkenbt falkenbt@gmail.com315.11.13Cassini Consulting 4. Kai Wilken!Consultant bei Cassini Consulting! ! !#physik #devops #performance! !@dervanil kai.wilken@cassini.de415.11.13Cassini Consulting 5. Maisfeld + Intro + Homer???515.11.13Cassini Consulting 6. 615.11.13Cassini Consulting 7. Und das Maisfeld bei Payback...715.11.13Cassini Consulting 8. Warum brauche ich Metriken?berprfung / Besttigung der Effekte durch OptimierungNeue oder vernderte Features und Funktionen ValidierungEntwicklungMetrik CycleOptimierung AnalyseVerbesserung auf Basis der Beobachtungen815.11.13Cassini ConsultingAnalyse der Auswirkungen und Sammlung von Metriken 9. Ziele von zentraler Logsammlung und Auswertung! berblick in komplexen Umgebungen behalten ! Untersttzung bei der Ursachenforschung !in Fehler- / Problemfllen Verhalten des Systems unter realen Bedingungen beobachten! Ressourcennutzung und mgliche Engpsse kennen, Trends ableiten knnen! Auswirkungen von Vernderungen (z.B. neuesRelease) transparent machen und bewerten knnen! Kontrolle von vertraglichen Verpflichtungen (SLAs)915.11.13Cassini Consulting 10. Wie arbeitet logstash?RedisLogfileTCPGraphiteFilterRedis1015.11.13ElasticsearchCassini ConsultingLogfileTCPTwitter GraphiteSVNGrok Multiline (z.B. fr Stacktrace) Bedingungen Key-value (z.B. Request Parameter) TwitterSVN 11. Grok it!logfile grok pattern11 2013-11-06 09:42:13,274;INFO;d3e7a1db;getAccountTransactions;admin;196;0; 2013-11-06 09:42:13,375;INFO;8f72ea2c;getAccountBalance;admin;121;0; 2013-11-06 09:42:13,454;INFO;caab93cd;updateMember;admin;653;COR-00011;%{DATA:timestamp};%{DATA:loglevel};%{DATA:requestId};%{DATA:service};%{DATA:consumer};%{INT:responseTime:int};%{DATA:errorCode};15.11.13Cassini Consulting 12. Baukasten: logstash, elasticsearch, kibana, graphite, PeXPErformance eXposurePayLoad2. Warmup 3. Load-Test1. PreloadSystem under TestDatabase124. Report15.11.13Cassini ConsultingMetrics samplerkibana 13. DEMO 1315.11.13Cassini Consulting 14. Wie geht es weiterQAOPSDEV"Big Data" 1415.11.13Cassini Consulting 15. Lessons learned?Lernkurve Integration Support Spa1515.11.13Cassini ConsultingSecurity Hausaufgaben Performance Housekeeping Interpretation! 16. Fragen? Fragen!1615.11.13Cassini Consulting 17. Links!Elasticsearch:http://www.elasticsearch.org/!Kibana:http://www.elasticsearch.org/overview/kibana/!Logstash:http://logstash.net/!Graphite:https://github.com/graphite-project!Statsd:https://github.com/etsy/statsd/!MetricsSampler:https://github.com/dimovelev/metrics-sampler1715.11.13Cassini Consulting 18. Cassini Consulting Niederlassung Hamburg Kai Wilken Alle Angaben basieren auf dem derzeitigen Kenntnisstand. nderungen vorbehalten.Johannisbollwerk 16 20459 Hamburg Deutschland T +49 (0)151 11 44 38 53 kai.wilken@cassini.de visit www.cassini.de1815.11.13Dieses Dokument von Cassini Consulting ist ausschlielich fr den Adressaten bzw. Auftraggeber bestimmt. Es bleibt bis zur einer ausdrcklichen bertragung von Nutzungsrechten Eigentum von Cassini. Jede Bearbeitung, Verwertung, Vervielfltigung und/oder gewerbsmige Verbreitung des Werkes ist nur mit Einverstndnis von Cassini zulssig.Cassini Consulting