Build your own IoT Cloud! [GER]

Christian Götz & Dominik Obermaier | dc-square

!

Bau deine eigene IoT Cloud

Christian Götz / Dominik Obermaier - Bau dir deine eigene IoT Cloud github / mail / website

Wer sind wir?

CHRISTIAN GÖTZ @goetzchr

DOMINIK OBERMAIER @dobermai

https://github.com/dc-square/build-your-own-iot-cloud-workshop

mailto:iot@dc-square.de?subject=Workshop%20IoT%20Con

http://www.dc-square.de

dc-square

HiveMQ IoT Beratung

V

Workshops & Schulung

s

HiveMQ Plugin Entwicklung

p

Architektur einer IoT Plattform

Implementieren eines Prototypen

Ziel des Workshops

Endergebnis

Was jeder installiert haben sollte

• Java JDK 7 • Java IDE (IntelliJ, Eclipse, Netbeans, vi, …) • GIT • Maven • HiveMQ 2.0.2 • MySQL Datenbank • MySQL Datenbankviewer • Aktueller Webbrowser

Entwicklungumgebung

%%

%

https://github.com/dc-square/build-your-own-iot-cloud-

workshop

GIT Repositoryclone

oder USB-Stick

IoT Cloud Platform

http://www.github.com/dc-square

mailto:iot@dc-square.de?subject=Workshop%20IoTCloud

Internet der Dinge

Technologie die Geräte über Kabel oder Drahtlos vernetzt

IoT Cloud PlatformKomponenten

NDevice Management

Configure, Update Firmware, Monitor, Sta6s6cs

tData Storage

Datenbank mit historische Daten

(Administration & Betrieb

Web UI, Einfache Bedienung

USecurity

Transportsicherheit, Authen6fizierung, Autorisierung

JIdentity Management

User, Devices

GLive Daten von Sensoren

HTTP, MQTT, CoAP, …

yIoT Cloud

IoT Cloud PlatformKomponenten, die wir heute benutzen

NDevice Management

tData Storage

MySQL Datenbank mit REST API

Web UI, Einfache BedienungSecurity

User, Devices

HTTP und MQTT

yIoT Cloud

U

Eclipse Paho, HTTP

Geräte

!

GOAL IoT Platform

Prototyp

3

TechnologienPrototyp

HiveMQ MQTT Broker

Dropwizard REST API

HTML/JS Web App

Eclipse Paho, HTTP

Geräte

TechnologienGeräte

Wetterstationen liefern Live Daten per Push (MQTT)➡ Simula6on der WeNersta6onen

mit Eclipse Paho

manche Geräte liefern Daten per HTTP

HiveMQ MQTT Broker

TechnologienHiveMQ

Austausch von Daten zwischen Geräten

Persistieren der Daten in die Datenbank

Dropwizard REST API

TechnologienDropwizard

Historische Daten zur Verfügung stellen

eingehende POST Requests an HiveMQ weiterleiten

HTML/JS Web App

TechnologienWebapp

Anzeige von Live Daten über MQTT

Anzeige von historischen Daten über REST API

Teil 1: Geräte MQTT, HTTP

Protokoll des

Internets

GET, POST, PUT, DELETE

Server/Client

Request/Response

HTTP

HTTPFakten

HTTPVorteile/Nachteile

XPolling

Xnicht bidirektional

XHeader ist verbose

W Bekannt und Bewährt

XKeine Garantien

XStateless

MQTTKurzübersicht

Einfach

Connect, Publish, Subscribe, Unsubscribe, Disconnect

Messaging Protokoll

Austausch von Nachrichten, teilweise Queuing

basiert auf TCP

Port 1883

Publish/Subscribe

Clients abonnieren auf Topics auf denen andere Clients Nachrichten veröffentlichen

Minimaler Overhead

teilweise nur 2 Byte

Ausgelegt für unstabile Netze

individuelle Garan6en möglich für jede Nachricht

MQTT HistoryTimeline

Entwickelt IBM/Arccom

1999Eclipse IoT (M2M)

2013

MQTT released royalty free

2011OASIS Standard

2014

2015b

1iotcloud/device1

einfacher Topic

2iotcloud/device1/temp

einfacher Topic

3iotcloud/+/temp

Single Wildcard

4iotcloud/#

Multi-level Wildcard

MQTT - TopicsFeature

genau einmal QoS 2

zumindest einmal QoS 1

bestenfalls einmal QoS 0

Siche

rheit

, das

s die

Nachr

icht a

nkom

mt

MQTT - Quality of ServiceFeature

MQTT - LWTFeature

1connect

LWT Topic: iotcloud/device1/status Message: offline

Device 1 HiveMQ

2connack

ok

3publish

Message Topic: iotcloud/device1/status Message: offline

4offline

LWT Message Topic: iotcloud/device1/status Message: offline

MQTT - Retained MsgFeature

2publish

Message Topic: iotcloud/device1/temp Message: 23.45

Device 1 HiveMQ

1publish

Message Topic: iotcloud/device1/temp Message: 23,45

5s

Device 2 HiveMQ

1subscribe

Message Topic: iotcloud/+/temp

Ohne Retained 0-5s

Mit Retained sofort!

MQTT over WebsocketsFeature

MQTT BrokerKurzübersicht

Herzstück von MQTT

Versenden der Nachrichten an Clients

Benutzt nur Topics

Topics sind dynamisch

Benutzerdefinierte Funktionen

MQTT Broker

MQTT GUI Tools MQTT.fx 0.0.7

http://www.jensd.de/wordpress/?p=1423

http://www.apple.com

MQTT GUI Tools MQTT spy 0.0.6

Timeline

https://code.google.com/p/mqtt-spy/

MQTT CMD Tools mosquitto_pub/_sub

$ mosquitto_pub -h broker.mqttdashboard.com -t iotcloud/test -m “test” -q 1 !http://mosquitto.org/man/mosquitto_pub-1.html

— !

$ mosquitto_sub -h broker.mqttdashboard.com -t iotcloud/test !http://mosquitto.org/man/mosquitto_sub-1.html

Mosquitto ClientsPublish/Subscribe

http://mosquitto.org/man/mosquitto_pub-1.html

http://mosquitto.org/man/mosquitto_sub-1.html

MQTT Libraries Eclipse Paho

Open Source

“Reference Implementation”

Many languages: Java, Javascript, Lua, C, C++, Go, Python

Active Community

JS Library uses MQTT over Websockets

MQTT Libraries FuseSource MQTT Client

Open Source

3 API Styles

Automatic Reconnect

Maven Central

Less active Community

MQTT + HiveMQHands-on

2

Subscribe auf Simulatorcode/0.1

Ü2

3

HiveMQ Beispielplugincode/0.2

Ü3

4

Reagieren auf einen Publishcode/0.3

Ü4

1

Ü1MQTT ausprobierencode/0.1

5

Ü5Publish in Datenbankcode/0.4

* Property File für Datenbankparameter * Alle 30s veröffentlichen wie viele

Einträge in der Datenbank sind

Übung 1MQTT ausprobieren

STEPS

HiveMQ starten Unix: /bin/run.sh Win: run.bat starten

Websocket Client mqtt-websocket-client/index.html öffnen

Verbinden Verbinden Erfolgreich wenn HiveMQ ClientId ausgibt

Subscribe Subscribe zu einfachem Topic Subscribe zu Wildcard Topic

Publish Publish von Nachrichten auf verschiedenen Topics

0.1

Version

Übung 2Simulator benutzen und Daten von Gerät 2 empfangen

STEPS

HiveMQ starten Unix: /bin/run.sh Win: run.bat starten

Websocket Client mqtt-websocket-client/index.html öffnen

Verbinden Verbinden Erfolgreich wenn HiveMQ ClientId ausgibt

Subscribe Herausfinden auf welchem Topic Gerät 2 schickt

Simulator starten simulator in Java IDE öffnen Ausführen von DeviceSimulator0.1

Version

Teil 2: MQTT Broker HiveMQ

MQTT Broker

Hochskalierbarer MQTT Broker

> 100.000 Verbindungen

Offenes Plugin System

Einhängen von benutzerdefinierter Logik, Integra6on in bestehende Systeme

Cloud ready

Amazon Web Service, Microso` Azure, Own Datacenter

Implementiert den MQTT Standard

Gleichzei6ges Verbinden von MQTT Clients der Version 3.1.1 und 3.1 möglich

Sicherheit

TLS Verschlüsselung, X.509 Zer6fikate, Benutzerdefinierte und feingranulare Authen6fizierung und Autorisierung

Einfache Benutzung und Betrieb

$SYS Topics, Ausführliche Dokumenta6on, Monitoring über JMX und Graphite

Plugin SystemHands-on

Inject everything!Steigert die Testbarkeit!

Callback bekannt machenCallback muss hier registriert werden, ansonsten wird er nicht ausgeführt

Don’t block in a Plugin. Never.Andere Threads benutzen

Apache Configuration SupportEinfach Config Files erstellen und

automa6sch nachladen

Dependency Injection

Callback Registry

Configuration Files

Don’t block

Plugin System

MQTT Lowlevel

Plugin CallbacksEinhängen von benutzerdefinierter Logik

Broker Events

Others

MQTT Message

Security1

2

3

4

5

Client Connect, Client Publish/Subscribe, After Login,

Connect, Publish, Subscribe, Unsubscribe, Disconnect

Scheduled

Start, Stop, Statistiken aktualisiert

PubAck, PubRel, PubComb, Ping, …

• HiveMQ SPI • Vorraussetzung um entwickeln zu können

• Maven Plugin • Plugin mit HiveMQ starten • Debuggen im Server/Client Modus

• Assembly Plugin • Erstellung eines auslieferbaren Archiv

• JavaDoc

Plugin EntwicklungTools für den Entwickler

HiveMQ MQTT Broker

TechnologienHiveMQ

Austausch von Daten zwischen Geräten

Persistieren der Daten in die Datenbank

Übung 3Plugin mit HiveMQ starten

STEPS

hivemq-‐pluginhivemq-plugin in Java IDE öffnen

HiveMQ starten HiveMQ mit Plugin über Maven package starten Profil RunWithHiveMQ aktivieren

HiveMQ Pfad Ordner von HiveMQ in pom.xml setzen

0.2

Version

Übung 4Benutzerdefinierte Logik für Publish

STEPS

0.3

Version

OnPublish Ausgabe auf der Console von ClientId, Topic und Nachricht

Übung 5Schreiben in die Datenbank

STEPS

0.4

Version

OnPublish ClientId und Payload in Datenbank schreiben

OnStart Datenbankverbindung aufbauen

• Connection Pool für Datenbankverbindung • JDBC in extra Thread • ORM-Framework einsetzen • Authentifizierung und Autorisierung der Clients • Transportverschlüsselung über TLS

VerbesserungenHiveMQ Plugin

Teil 3: REST API Dropwizard

Dropwizard REST API

TechnologienDropwizard

Historische Daten zur Verfügung stellen

eingehende POST Requests an HiveMQ weiterleiten

REST RessourcenIoTCloud

GET/sensor-data Alle Werte

POST /sensor-data/{device1}Aktueller Wert

GET/sensor-data/{device1} Alle Werte des jeweiligen Geräts parameterisiert

Format: JSON

DropwizardKurzübersicht

“Produktiv einsatzbereite, hochskalierbare REST API”

Ausgerichtet auf den einfachen Betrieb

Modulbasiert mit vielen mitgelieferten Modulen

Jersey

Technologien

JacksonHTTP REST JSON

powered bymetrics

Dropwizard

Getting StartedDropwizard

Configuration yaml

+ class

Ressourcen classes

Starten server config.yml

Übung 6Erstes Dropwizard Projekt

STEPS

Projekt öffnenrest-api in Java IDE öffnen

Projekt ausführen Run Configuration IoTCloudApplication server iotcloud.yml

0.5

Version

HelloWorld HelloWorld Ressource im Webbrowser aufrufen

Übung 7GET /sensor-data

STEPS

Datenbank Datenbank anlegen mit create.sql Beispieldaten importieren exmple-data.sql

0.6

Version

Vorbereiten SensorDataItem POJO anlegen Datenbankverbindung herstellen ( JDBC)

Ressource Daten aus Datenbank holen Zurückgeben einer Liste von SensorDataItems

Übung 8JDBI statt JDBC

STEPS

KonfiguraMon Datenbankparameter in iotcloud.yml

0.6

Version

Vorbereiten JDBI initialisieren Mapper

Ressource Interface DAO mit SQL Query schreiben Zurückgeben einer Liste von SensorDataItems

• Caching einbauen • Datenbankverbindung mit ConnectionPool • ORM Framework einsetzen (JDBI, Hibernate) • Authentifizierung, Autorisierung • Mehrere Ressourcen • Transportverschlüsselung mit TLS

VerbesserungenHiveMQ Plugin

Teil4: WebUI Erster Test für die IoT Cloud

WebUIHiveMQ Plugin

Live Daten über MQTT

Historische Daten über REST

Übung 9WebUI Ausliefern

STEPS

Assetbundle Assetbundle konfigurieren

0.7

Version

webapp webapp in asset Ordner kopieren

Dropwizard starten und localhost:8080/asset öffnen

Zusammenfassung

IoT Cloud PlatformKomponenten

NDevice Management

tData Storage

Datenbank mit historische Daten

Web UI, Einfache Bedienung

USecurity

User, Devices

HTTP, MQTT, CoAP, …

yIoT Cloud

Ausblick

Welche Herausforderungen sind noch zu lösen?

SecurityAuthen6fizierung, Autorisierung

Mehr ProtokolleCoAP, XMPP, …

Device ManagementÜberwachen der Geräte

Skalierbarkeit, Verfügbarkeit

HiveMQ und Dropwizard sind skalierbar

Christian Götz/Dominik Obermaier - Bau dir deine eigene IoT Cloud github / mail / website

Danke!

IoT Con HiveMQ Special

http://www.hivemq.com/iot-con-special-2014/

Build your own IoT Cloud! [GER]

iot cloud github mail

cloud gtz dominik obermaier

iot plattformimplementieren

goetzchrdominik obermaier

einfache bedienungg

update firmware

git maven hivemq

mqtt simula6on

Internet

Ruckus IoT Suite - CommScope · The Ruckus IoT Suite, is a....

IoTCrawler: Eine Suchmaschine für das Internet der...

How to build your own tailor made IoT Linux OS

Build Your First IOT Project with...

Deutscher Segler-Verband - Wir sind Segelsport...

Build your IoT project with Libelium devices: from sensors.....

Build your own Open Source IoT Project From A to Z

A Complete Guide to Choosing the Right IOT Platform · IOT....

180710 IoT Platform Security POV - Deloitte United...

(MBL303) Build Mobile Apps for IoT Devices and IoT Apps for....

AWS re:Invent 2016: IoT: Build, Test, and Securely Scale...

How to build own IoT Platform

How to build your own weather station using IoT and Azure...

Using Java Script and COMPOSE to build cool IoT...

TechRiot Mini XLR8er - How to Build IoT Business...

Build Mobile Apps for IoT Devices and IoT Apps for Mobile...