Build your own IoT Cloud! [GER]

Christian Götz & Dominik Obermaier | dc-square

!

!

Bau deine eigene IoT Cloud

Christian Götz / Dominik Obermaier - Bau dir deine eigene IoT Cloud github / mail / website

Wer sind wir?

CHRISTIAN GÖTZ @goetzchr

DOMINIK OBERMAIER @dobermai

https://github.com/dc-square/build-your-own-iot-cloud-workshop

mailto:[email protected]?subject=Workshop%20IoT%20Con

http://www.dc-square.de


dc-square

HiveMQ IoT Beratung

V

Workshops & Schulung

s

HiveMQ Plugin Entwicklung

p





Architektur einer IoT Plattform

Implementieren eines Prototypen

Ziel des Workshops





Endergebnis





Was jeder installiert haben sollte

• Java JDK 7 • Java IDE (IntelliJ, Eclipse, Netbeans, vi, …) • GIT • Maven • HiveMQ 2.0.2 • MySQL Datenbank • MySQL Datenbankviewer • Aktueller Webbrowser

Entwicklungumgebung

%%

%%

%%

%

%





https://github.com/dc-square/build-your-own-iot-cloud-

workshop

GIT Repositoryclone

oder USB-Stick






IoT Cloud Platform

http://www.github.com/dc-square

mailto:[email protected]?subject=Workshop%20IoTCloud



Internet der Dinge





Technologie die Geräte über Kabel oder Drahtlos vernetzt





IoT Cloud PlatformKomponenten

NDevice Management

Configure, Update Firmware, Monitor, Sta6s6cs

tData Storage

Datenbank mit historische Daten

(Administration & Betrieb

Web UI, Einfache Bedienung

USecurity

Transportsicherheit, Authen6fizierung, Autorisierung

JIdentity Management

User, Devices

GLive Daten von Sensoren

HTTP, MQTT, CoAP, …

yIoT Cloud





IoT Cloud PlatformKomponenten, die wir heute benutzen

NDevice Management


tData Storage

MySQL Datenbank mit REST API


Web UI, Einfache BedienungSecurity



User, Devices


HTTP und MQTT

yIoT Cloud

U





Eclipse Paho, HTTP

Geräte

!

GOAL IoT Platform

Prototyp

3

TechnologienPrototyp

HiveMQ MQTT Broker

Dropwizard REST API

HTML/JS Web App





Eclipse Paho, HTTP

Geräte

TechnologienGeräte

Wetterstationen liefern Live Daten per Push (MQTT)➡ Simula6on der WeNersta6onen

mit Eclipse Paho

manche Geräte liefern Daten per HTTP





HiveMQ MQTT Broker

TechnologienHiveMQ

Austausch von Daten zwischen Geräten

Persistieren der Daten in die Datenbank





Dropwizard REST API

TechnologienDropwizard

Historische Daten zur Verfügung stellen

eingehende POST Requests an HiveMQ weiterleiten





HTML/JS Web App

TechnologienWebapp

Anzeige von Live Daten über MQTT

Anzeige von historischen Daten über REST API





Teil 1: Geräte MQTT, HTTP





Protokoll des

Internets

GET, POST, PUT, DELETE

Server/Client

Request/Response

HTTP

HTTPFakten





HTTPVorteile/Nachteile

XPolling

Xnicht bidirektional

XHeader ist verbose

W Bekannt und Bewährt

XKeine Garantien

XStateless





MQTTKurzübersicht

Einfach

Connect, Publish, Subscribe, Unsubscribe, Disconnect

Messaging Protokoll

Austausch von Nachrichten, teilweise Queuing

basiert auf TCP

Port 1883

Publish/Subscribe

Clients abonnieren auf Topics auf denen andere Clients Nachrichten veröffentlichen

Minimaler Overhead

teilweise nur 2 Byte

Ausgelegt für unstabile Netze

individuelle Garan6en möglich für jede Nachricht





MQTT HistoryTimeline

Entwickelt IBM/Arccom

1999Eclipse IoT (M2M)

2013

MQTT released royalty free

2011OASIS Standard

2014

2015b





1iotcloud/device1

einfacher Topic

2iotcloud/device1/temp

einfacher Topic

3iotcloud/+/temp

Single Wildcard

4iotcloud/#

Multi-level Wildcard

MQTT - TopicsFeature





genau einmal QoS 2

zumindest einmal QoS 1

bestenfalls einmal QoS 0

Siche

rheit

, das

s die

Nachr

icht a

nkom

mt

MQTT - Quality of ServiceFeature





MQTT - LWTFeature

1connect

LWT Topic: iotcloud/device1/status Message: offline

Device 1 HiveMQ

2connack

ok

3publish

Message Topic: iotcloud/device1/status Message: offline

4offline

LWT Message Topic: iotcloud/device1/status Message: offline





MQTT - Retained MsgFeature

2publish

Message Topic: iotcloud/device1/temp Message: 23.45

Device 1 HiveMQ

1publish

Message Topic: iotcloud/device1/temp Message: 23,45

5s

Device 2 HiveMQ

1subscribe

Message Topic: iotcloud/+/temp

Ohne Retained 0-5s

Mit Retained sofort!





MQTT over WebsocketsFeature





MQTT BrokerKurzübersicht

Herzstück von MQTT

Versenden der Nachrichten an Clients

Benutzt nur Topics

Topics sind dynamisch

Benutzerdefinierte Funktionen

MQTT Broker





MQTT GUI Tools MQTT.fx 0.0.7





http://www.jensd.de/wordpress/?p=1423




http://www.jensd.de/wordpress/?p=1423

http://www.apple.com


MQTT GUI Tools MQTT spy 0.0.6





Timeline

https://code.google.com/p/mqtt-spy/




https://code.google.com/p/mqtt-spy/


MQTT CMD Tools mosquitto_pub/_sub





$ mosquitto_pub -h broker.mqttdashboard.com -t iotcloud/test -m “test” -q 1 !http://mosquitto.org/man/mosquitto_pub-1.html

— !

$ mosquitto_sub -h broker.mqttdashboard.com -t iotcloud/test !http://mosquitto.org/man/mosquitto_sub-1.html

Mosquitto ClientsPublish/Subscribe




http://mosquitto.org/man/mosquitto_pub-1.html

http://mosquitto.org/man/mosquitto_sub-1.html


MQTT Libraries Eclipse Paho





Open Source

“Reference Implementation”

Many languages: Java, Javascript, Lua, C, C++, Go, Python

Active Community

JS Library uses MQTT over Websockets





MQTT Libraries FuseSource MQTT Client





Open Source

3 API Styles

Automatic Reconnect

Maven Central

Less active Community





MQTT + HiveMQHands-on

2

Subscribe auf Simulatorcode/0.1

Ü2

3

HiveMQ Beispielplugincode/0.2

Ü3

4

Reagieren auf einen Publishcode/0.3

Ü4

1

Ü1MQTT ausprobierencode/0.1

5

Ü5Publish in Datenbankcode/0.4

* Property File für Datenbankparameter * Alle 30s veröffentlichen wie viele

Einträge in der Datenbank sind





Übung 1MQTT ausprobieren

STEPS

HiveMQ starten Unix: /bin/run.sh Win: run.bat starten

Websocket Client mqtt-websocket-client/index.html öffnen

Verbinden Verbinden Erfolgreich wenn HiveMQ ClientId ausgibt

Subscribe Subscribe zu einfachem Topic Subscribe zu Wildcard Topic

Publish Publish von Nachrichten auf verschiedenen Topics

0.1

Version





Übung 2Simulator benutzen und Daten von Gerät 2 empfangen

STEPS

HiveMQ starten Unix: /bin/run.sh Win: run.bat starten

Websocket Client mqtt-websocket-client/index.html öffnen

Verbinden Verbinden Erfolgreich wenn HiveMQ ClientId ausgibt

Subscribe Herausfinden auf welchem Topic Gerät 2 schickt

Simulator starten simulator in Java IDE öffnen Ausführen von DeviceSimulator0.1

Version





Teil 2: MQTT Broker HiveMQ





MQTT Broker

Hochskalierbarer MQTT Broker

> 100.000 Verbindungen

Offenes Plugin System

Einhängen von benutzerdefinierter Logik, Integra6on in bestehende Systeme

Cloud ready

Amazon Web Service, Microso` Azure, Own Datacenter

Implementiert den MQTT Standard

Gleichzei6ges Verbinden von MQTT Clients der Version 3.1.1 und 3.1 möglich

Sicherheit

TLS Verschlüsselung, X.509 Zer6fikate, Benutzerdefinierte und feingranulare Authen6fizierung und Autorisierung

Einfache Benutzung und Betrieb

$SYS Topics, Ausführliche Dokumenta6on, Monitoring über JMX und Graphite





Plugin SystemHands-on

Inject everything!Steigert die Testbarkeit!

Callback bekannt machenCallback muss hier registriert werden, ansonsten wird er nicht ausgeführt

Don’t block in a Plugin. Never.Andere Threads benutzen

Apache Configuration SupportEinfach Config Files erstellen und

automa6sch nachladen

Dependency Injection

Callback Registry

Configuration Files

Don’t block

Plugin System





MQTT Lowlevel

Plugin CallbacksEinhängen von benutzerdefinierter Logik

Broker Events

Others

MQTT Message

Security1

2

3

4

5

Client Connect, Client Publish/Subscribe, After Login,

Connect, Publish, Subscribe, Unsubscribe, Disconnect

Scheduled

Start, Stop, Statistiken aktualisiert

PubAck, PubRel, PubComb, Ping, …





• HiveMQ SPI • Vorraussetzung um entwickeln zu können

• Maven Plugin • Plugin mit HiveMQ starten • Debuggen im Server/Client Modus

• Assembly Plugin • Erstellung eines auslieferbaren Archiv

• JavaDoc

Plugin EntwicklungTools für den Entwickler





HiveMQ MQTT Broker

TechnologienHiveMQ

Austausch von Daten zwischen Geräten

Persistieren der Daten in die Datenbank





Übung 3Plugin mit HiveMQ starten

STEPS

hivemq-‐pluginhivemq-plugin in Java IDE öffnen

HiveMQ starten HiveMQ mit Plugin über Maven package starten Profil RunWithHiveMQ aktivieren

HiveMQ Pfad Ordner von HiveMQ in pom.xml setzen

0.2

Version





Übung 4Benutzerdefinierte Logik für Publish

STEPS




0.3

Version

OnPublish Ausgabe auf der Console von ClientId, Topic und Nachricht





Übung 5Schreiben in die Datenbank

STEPS




0.4

Version

OnPublish ClientId und Payload in Datenbank schreiben

OnStart Datenbankverbindung aufbauen





• Connection Pool für Datenbankverbindung • JDBC in extra Thread • ORM-Framework einsetzen • Authentifizierung und Autorisierung der Clients • Transportverschlüsselung über TLS

VerbesserungenHiveMQ Plugin





Teil 3: REST API Dropwizard





Dropwizard REST API

TechnologienDropwizard

Historische Daten zur Verfügung stellen

eingehende POST Requests an HiveMQ weiterleiten





REST RessourcenIoTCloud

GET/sensor-data Alle Werte

POST /sensor-data/{device1}Aktueller Wert

GET/sensor-data/{device1} Alle Werte des jeweiligen Geräts parameterisiert

Format: JSON





DropwizardKurzübersicht

“Produktiv einsatzbereite, hochskalierbare REST API”

Ausgerichtet auf den einfachen Betrieb

Modulbasiert mit vielen mitgelieferten Modulen





Jersey

Technologien

JacksonHTTP REST JSON

powered bymetrics

Dropwizard





Getting StartedDropwizard

Configuration yaml

+ class

Ressourcen classes

Starten server config.yml





Übung 6Erstes Dropwizard Projekt

STEPS

Projekt öffnenrest-api in Java IDE öffnen

Projekt ausführen Run Configuration IoTCloudApplication server iotcloud.yml

0.5

Version

HelloWorld HelloWorld Ressource im Webbrowser aufrufen





Übung 7GET /sensor-data

STEPS


Datenbank Datenbank anlegen mit create.sql Beispieldaten importieren exmple-data.sql

0.6

Version

Vorbereiten SensorDataItem POJO anlegen Datenbankverbindung herstellen ( JDBC)

Ressource Daten aus Datenbank holen Zurückgeben einer Liste von SensorDataItems





Übung 8JDBI statt JDBC

STEPS


KonfiguraMon Datenbankparameter in iotcloud.yml

0.6

Version

Vorbereiten JDBI initialisieren Mapper

Ressource Interface DAO mit SQL Query schreiben Zurückgeben einer Liste von SensorDataItems





• Caching einbauen • Datenbankverbindung mit ConnectionPool • ORM Framework einsetzen (JDBI, Hibernate) • Authentifizierung, Autorisierung • Mehrere Ressourcen • Transportverschlüsselung mit TLS

VerbesserungenHiveMQ Plugin





Teil4: WebUI Erster Test für die IoT Cloud





WebUIHiveMQ Plugin

Live Daten über MQTT

Historische Daten über REST





Übung 9WebUI Ausliefern

STEPS


Assetbundle Assetbundle konfigurieren

0.7

Version

webapp webapp in asset Ordner kopieren

Dropwizard starten und localhost:8080/asset öffnen





Zusammenfassung





IoT Cloud PlatformKomponenten

NDevice Management


tData Storage

Datenbank mit historische Daten


Web UI, Einfache Bedienung

USecurity



User, Devices


HTTP, MQTT, CoAP, …

yIoT Cloud





Ausblick





Welche Herausforderungen sind noch zu lösen?

SecurityAuthen6fizierung, Autorisierung

Mehr ProtokolleCoAP, XMPP, …

Device ManagementÜberwachen der Geräte

Skalierbarkeit, Verfügbarkeit

HiveMQ und Dropwizard sind skalierbar

Christian Götz/Dominik Obermaier - Bau dir deine eigene IoT Cloud github / mail / website








Danke!





IoT Con HiveMQ Special

http://www.hivemq.com/iot-con-special-2014/




Build your own IoT Cloud! [GER]

Internet

iot cloud github mail

cloud gtz dominik obermaier

iot plattformimplementieren

goetzchrdominik obermaier

einfache bedienungg

update firmware

git maven hivemq

mqtt simula6on