Data hyotykayttoon -koulutuspaiva 09122016

Data hyötykäyttöön – avoin data

kaupungin työntekijän arjessa

9.12.2016

Tanja Lahti ja Hami Kekkonen

Helsingin kaupungin tietokeskus

klo 8.30 Esittelykierros ja tavoitteet

klo 9.00 Mitä on avoin data? Mikä on HRI?

klo 9.30 Paritehtävä + purku

klo 9.50 Tauko

klo 10.00 Avaamisen perusteet, käytännössä, mikä xls ja csv?

klo 11.00 Mitä hyötyä avoimesta datasta työhön? Faris Alsuhail

klo 11.30 Lounas (omakustanteinen)

klo 12.30 Mikä on rajapinta? Henri Kotkanen

klo 13.15 Case rajapinta – Tapahtumarajapinta Linked Events, Aleksi Salonen

klo 13.30 Harjoitus: tutkitaan rajapintoja ja datan hakua Henri Kotkasen avustuksella

klo 14.15 Tauko

klo 14.30 Hyödyntämisesimerkki, Case Eventmore, Lissu Kirves

klo 14.50 Miten löytää avattavaa dataa?

klo 15.00 Paritehtävä + purku

klo 15.30 Yhteenveto & kysymyksiä

Koulutuksen ohjelma

Avoin data

Helsingin kaupungin aineistopankki

Kunta edistää asukkaidensa hyvinvointia ja

alueensa elinvoimaa sekä järjestää asukkailleen

palvelut taloudellisesti, sosiaalisesti ja

ympäristöllisesti kestävällä tavalla. (Kuntalaki)

Helsingin kaupungin aineistopankki/SkyFoto

SOSIAALI- JA

TERVEYDENHUOLTO

PYSÄKÖINTI

VÄESTÖ

PÄÄTÖKSET

PÄIVÄHOITO JA

KOULUTUS

ASUMINEN

JULKINEN

LIIKENNE

ENERGIA

MAANKÄYTTÖ

TAPAHTUMAT

RAKENTAMINEN

KULTTUURI

Valtavasti dataa

Helsingin kaupungin aineistopankki

Avoimemmin, älykkäämmin,

resurssitehokkaammin?

Datan hyödyntäjä?Datan hyödyntäjänä

Kaupunkiorganisaatiot Kaupunkilaiset

Perinteisesti Nyt lisäksi

Julkinen tieto vrt. avoin tieto

Julkinen tieto:

pääsy tietoon, ihmiset pääsevät lukemaan tietoja

Avoin julkinen tieto (data):

kansalaiset ja yritykset voivat käyttää tietoja omiin

tarkoituksiinsa tasavertaisesti julkisen hallinnon kanssa

Lähde: Anne Kauhanen-Simanainen, VM, JulkICT-toiminto 20.4.2012http://www.slideshare.net/THLfi/avoin-julkinen-tieto-yhteiskunnan-elvyttjn

http://opendefinition.org/okd/suomi/

Julkista tietoa

Lupa käyttää

Koneluettavassa muodossa

Maksutta saatavilla “A piece of content or data is open

if anyone is free to use, reuse, and

redistribute it — subject only, at

most, to the requirement to

attribute and/or share-alike.”

Avoin data

http://www.hel.fi/hel2/ksv/julkaisut/los_2015-1.pdf

http://www.hri.fi/fi/data/liikenneonnettomuudet-helsingissa/

• Julkishallinto

hallinnon sisäinen tehokkuus

• Kuntalainen

läpinäkyvyys ja demokratia

• Yritykset

liiketoiminta ja innovaatiot

Avoimen datan hyötyjä

Helsinki Region Infoshare

Mikä on Helsinki Region Infoshare

(HRI)?

HRI on pääkaupunkiseudun

kaupunkien (Helsinki, Espoo, Vantaa ja

Kauniainen) yhteinen avoimen datan

palvelu, jonka kautta kaupunkien

julkista tietoa (dataa) tarjotaan

avoimena datana kaikkien (mm.

kehittäjät, korkeakoulut, yritykset,

media) vapaasti hyödynnettäväksi.

Verkkosivut: www.hri.fi

Eteneminen

• Pilottivaihe 2010-2012

• Vakiinnuttamisvaihe 2013

• Osa kaupunkien normaalia toimintaa 2014->

Toimijat

• Johtoryhmä: PKS-kaupunginjohtajat

• Ohjausryhmä: PKS-kaupunkien vastuuhenkilöt

• Operatiivinen toiminta: Tietokeskus/HRI-tiimi,

kaupunkien HRI-ryhmät

• Tärkeimmät yhteistyötahot: Forum Virium

Helsinki, VM, avoimen datan yhteisö

HRI:n taustaa

Avoimen datan linjauksia Helsingissä

• Kaupunginhallituksen päätös 1.10.2012

• Strategiaohjelma

• IT-ohjelma

• Talousarvion

laatimisohjeet

Helsinki Region Infoshare – www.hri.fi

Avoin käyttölupa

Koneluettavaa

Maksutonta

Julkista tietoa

Espoo

Vantaa

Kauniainen

Helsinki

09/12/2016

Strategista dataa

• Tilastot, ennusteet• Paikkatietodataa• Maankäyttö• Päätökset• Talousdataa• …

Kaupungin tila?

Operatiivista dataa

• Tapahtumat• Liikenne• Ilmanlaatu• Lumiaurat• Palaute• …

Kaupungin pulssi?

Avattavaa dataa riittää – esimerkiksi

Helsingissä on yli 800 tietojärjestelmää!

Tietojärjestelmäluettelo priorisoinnin apuna

http://www.hri.fi/fi/dataset/helsingin-kaupungin-tietojarjestelmaluettelo

CLEARING

HOUSE

➜ Tuottavat alkuperäistä

tietoa

➜ Ylläpitävät omaa

tietoaan

➜ Osallistuvat tiedon

avaamiseen

➜ Toimittavat

tietoaineistojen

metatiedot Clearing

houselle

Dataa

Palautetta ja

toiveita

datasta

Tiedon

tuottaminen

Tiedon

avaaminen

Tiedon

jakaminen

Tiedon

hyödyntäminen

LoppukäyttäjätKriteerit ja ohjeet

Avaamisen apuvälineet

Palautetta datasta

Dataa ja

metadataa

Julkisen tiedon

tuottajat ja

lähteet

➜ Priorisoi mitä tietoja

avataan

➜ Kriteerit ja ohjeet

➜ Avustaa tiedon tuottajia

avaamisessa

➜ Ottaa vastaan tietoja,

arvioi ne ja hyväksyy

jakeluun

➜ Vastaa verkkopalvelun

ylläpidosta

➜ Ylläpitää

metatietorekisteriä

➜ Kerää käyttäjäpalautetta

datasta

➜ Kerää käyttäjien toiveita

uusista tietoaineistoista

➜ Kerää muuta

käyttäjäpalautetta

➜ Kuntien työntekijät,

yritykset, tutkimuslaitokset,

kansalaiset, oppilaitokset,

jne.

➜ Hyväksyvät käyttöehdot

➜ Lataavat ja hyödyntävät

dataa

➜ Palautetta ja toiveita

datasta

Clearing

houseTiedon

jakelija

”Datan

metatieto-

rekisteri”

”Helsingin

seudun

datakatalogi”

HRI-toimintamalli

Datan avaaminen on osa kaupungin

normaalitoimintaa, jossa tukena

• HRI-tiimi (kotipesä Tietokeskuksessa) + 6Aika Avoin data -väkio Yhteistyö datan avaajan kanssa: tiedustelut, esittelyt, käytännön tuki

o Yhteistyö hyödyntäjien kanssa: viestintää, vuoropuhelua, tilaisuuksia

• Kaupungin avoin ohjelmistokehitys (Kanslia/Titek)o ”Kaupungin toimeksiannosta kehitettävä uusi ohjelmistokoodi julkaistaan avoimen lähdekoodin

lisenssillä, ellei ole perusteltua syytä muuhun.”

o Avoimen ohjelmistokehityksen puitesopimus

• Kaupungin IT-kokonaisarkkitehtuuri (Kanslia/Titek)o Kokonaiskuva kaupungin tietojärjestelmistä ja niiden kehittämisestä, mm. tietojärjestelmäluettelo

Jatkossa painopistettä myös avoimien datojen hyödyntämiseen

Esittelyvideo HRI:sta ja

avoimesta datasta suomeksi,

ruotsiksi ja englanniksi

https://www.youtube.com/user/HRInfoshare

http://www.hri.fi/fi/ajankohtaista/hri-piirrosvideona/

HRI ja avoin data 3 minuutissa

Datan avaaminen jatkuu• Datan avaaminen jatkuu osana pääkaupunkiseudun kaupunkien

normaalitoimintaa

• Avaamisen haasteita tunnistettu, mutta ratkaistavissa

– kyse toimintakulttuurin muutoksesta

• Avattavaa dataa riittää – tuodaan ne näkyville

• Avoimia ja standardoituja rajapintoja tavoitellaan yhä enemmän

• Yhteistyötä yli rajojen: kuntien sisällä, kuntien kesken,

valtion kanssa, kansainvälisillä kentillä, asukkaiden,

kehittäjien, korkeakoulujen, yrittäjien jne. kanssa

• Tarjolla tukea esim. www.6aika.fi- ja

Horizon 2020 -ohjelmista

Mitä dataa jatkossa

avata ja miten? http://www.hri.fi/fi/hri-projekti/tyon-alla/

• Voit tutustua työn alla oleviin data-

avauksiin

• Tietotarpeita? Toivo dataa!

• Avaus tiedostona ja/tai avoimen

rajapinnan kautta?

• Parannetaan datojen löydettävyyttä

• Edistetään hyödyntämistä

• Juridiset seikat (mm. omistajuus,

yksityisyydensuoja, EU:n tietosuoja-

asetus, tekijänoikeus)

6Aika edesauttaa liiketoimintaaKuusi suurinta kaupunkia mm.:

• Avaa liiketoimintapotentiaalista dataa

• Luo avoimia ja standardoituja

ohjelmointirajapintoja

• Edesauttaa datojen löydettävyyttä ja

käytettävyyttä

• Tekee yhteistyötä yrityskentän kanssa

• Vahvistaa kaupunkien it-

hankintaosaamista

http://6aika.fihttp://databusiness.fi

Kannustetaan hyödyntämään

Datan hyödyntäjä?Datan hyödyntäjä = Kuka tahansa

Kaupunkiorganisaatio

Kaupunkilaiset

Helsinki Loves Developers -tapaamisetTervetuloa avoimen datan avoimeen konttoriin! Järjestään keväällä

2017 noin kerran kuukaudessa torstaisin klo 15-18 Laiturilla!

https://www.facebook.com/groups/heldev/

Hel♥Dev -

tapaamisia

31.3.2016 pysäköinti-aiheisessa avokonttorissa

ideoitiin erilaisia pysäköintimaksudatan käyttömahdollisuuksia.

Avoimen datan

idea- ja sovelluskilpailu

Datojen hyödyntäminen yhteistyössä

ulkopuolisten kanssa – co-creation?

• Avoimen datan hyödyntäjänä voi

olla kuka tahansa

• Miten kehittäjiä saataisiin mukaan

ratkomaan kaupungin haasteita?

• Miten kehittäjien sovelluksiin

suhtaudutaan?

• Miten voisi/pitäisi kytkeytyä

hankintaprosesseihin?

• Edellyttää kaupungilta uudenlaisia

toimintatapoja ja yhteistyöalustoja

Digitaalinen Helsinki – digi.hel.fi

Näkymä kaupungin

palvelujen digitalisointiin

ja väylä palvelujen

yhteiskehittämiseen.

Ensimmäisiä pilotteja:

- Tilat avoimiksi

- Helsinki App

Avoimen datan ekosysteemi

rakenteilla..

Toimintakulttuurin muutos

Oppimisprosessi meille kaikille

Kaupungin työntekijöillä mahdollisuus vahvistaa osaamistaan

esim. miten avata ja hyödyntää dataa, paikkatietokoulutusta,

IT-hankintaosaamiskoulutusta jne.

Koulutusmateriaalia

• Avoimen datan perusteos:

”Julkinen data – johdatus tietovarantojen

avaamiseen”

www.julkinendata.fi

• Q&A: www.avoindata.net

• Kokemuksia HRI:n alkutaipaleelta

www.hri.fi/2vuotta

• HRIn koulutusmateriaalit

http://www.hri.fi/fi/avaa-

dataa/koulutusmateriaalia/

• Avoimen rajapinnan määrittelyä

http://avoinrajapinta.fi/

• Datan avaajan mestarikurssi verkossa

http://datakoulu.fi/kurssit/datan-avaajan-

mooc/Lähde: http://www.squidoo.com/frog-hibernation Photo Credit: Muddy fun on Flickr, Creative Commons

Avoimen datan

hyödyntäminen

Datajournalismi

Opetus ja tutkimus

Läpinäkyvyys

Liiketoiminta

Avoin data

Osallistuminen

Taide

Median voima -

datajournalismi

• HS 31.1.16 uutinen Asuntojen

hinnat nousivat pilviin

Helsingin seudulla

• Taustalla asuntojen

hintatietoja

http://www.hs.fi/kaupunki/a1454127033359

Helsingin

kaupungin ostot

Läpinäkyvyyttä

visualisoinneilla

http://www.hri.fi/fi/dataset/helsingin-kaupungin-ostot

http://www.hri.fi/fi/dataset/paakaupunkiseudun-matka-aikamatriisi

http://www.hri.fi/fi/ajankohtaista/matka-aikamatriisi-sai-hrin-erityispalkinnon-apps4finlandissa/

Tutkimuksen kautta uutta tietoa

Pääkaupunkiseudun palvelukartta

http://palvelukartta.hel.fi/

Datan monipuolinen hyödyntäminen

Helsingin ilmakuvat 1930-,

1940-, 1950-, 1960-, 1970-,

1980- ja 2010-luvuilta

-> Helsinki ilmakuvina

1932–2012

http://www.hri.fi/fi/sovellukset/helsinki-

ilmakuvina-1943-2012/

Kurkistus menneisyyteen ja muutokseen

http://karttalehtinen.fi/helsinki/

HSL:n avoin rajapinta

http://www.youtube.com/watch?v=qGllzWt0acU

ReittiGPS

www.blindsquare.com

Sovelluksilla uutta

liiketoimintaa ja innovaatioita

Nysse

http://www.hri.fi/fi/ajankohtaista/open-ahjo-

rajapinta-helsingin-asiakirjajarjestelmaan-avautui/

http://www.slideshare.net/helsinkiregioninfoshare/

open-data-layers-to-helsinki-citys-case-

management

Avoin ohjelmointirajapinta

Helsingin kaupungin

Ahjo-asiakirjajärjestelmään

= Open Ahjo

Kaupungin päätöksenteko avoimeksi

Edistetään demokratiaa

http://dev.hel.fi/paatokset/

Ahjo Explorer

Open API

Kaupungin päätökset (Ahjo)

Mitäpäätetään,

missä, million? #HelsinkiPäätökset

Monipuolista paikkatietodataa

Open Data Use Case by Antti Ahola/Esri: https://www.linkedin.com/pulse/avoin-data-rakennus-ja-kiinteist%C3%B6alan-

k%C3%A4yt%C3%B6ss%C3%A4-n%C3%A4in-se-antti-ahola?trk=hp-feed-article-title-publish

Uudenlaisiatapoja

ymmärtää ja suunnitella

alueita

Helpottaaliikkumista

http://varaamo.hel.fi/

http://www.hri.fi/fi/sovellukset/

• Ulkopuolisten tahojen

tekemien, avointa dataa

hyödyntävien sovellusten,

visualisointien ja

ohjeistuksien esittelyä

• Sovellusideoiden

kerääminen käyttäjiltä

1Sovellusgalleria

Paritehtävä

Mitä dataa

organisaatiostasi löytyy?

• Mitä dataa tuotat työssäsi?

• Mitä dataa käytät työssäsi?

• Mitä dataa tarvitsisit työssäsi?

• Mikä on kiinnostavin datasetti parisi

organisaatiossa?

Avaamisen perusteet

käytännössä

Datan avaaminen käytännössä

Julkisuus• Tiedon oltava julkista

o Julkisuuslaki

o Muu lainsäädäntö

• Tieto ei saa sisältää henkilötietojao Julkaistaan vain tietoa, jossa ei ole henkilötietoja

o Tarvittaessa tiedon anonymisointi

• Julkaisijalla on oikeus julkaista tietoo Tekijän- ym. immateriaalioikeudet

o Sopimukset ym.

• Maksuttomuuso Kuntalaki 50§: valtuusto päättää kunnan maksujen perusteista

KoneluettavuusIhminen hahmottaa datasta nopeasti esim. otsikot, väli- tai loppusummat, lisätiedot, jne.

Koneelliseen tulkintaan tarvitaan rakenteinen, systemaattinen muoto

Missä muodossa avata dataa?

Erilaisia tapoja avata dataa

• Tiedostonao Tiedosto, jossa data ylläpidetään (xls / csv / tab / shp / …)

o Otetaan tieto manuaalisesti ulos järjestelmästä

o Otetaan tieto automatisoidusti ulos järjestelmästä

• Rajapinnan kauttao Tehdään rajapinta järjestelmästä automatisoidusti ulos otettavaan tietoon

o Tehdään järjestelmään / sen kopioon rajapinta

Missä muodossa avata dataa?

Kysymyksiä, joita hyvä pohtia:

• Kuinka usein data päivittyy / päivitetään?

• Kuinka suuri datamäärä on?

• Onko data reaaliaikaista, vai esim. vuosittaista tietoa?

• Kuinka paljon käsityötä datan muokkaaminen vaatii?

• Mihin dataa voisi käyttää?

• Onko jokin muu taho jo avannut vastaavan datan? Miten

se on tehty?

Lisenssi

• Datan omistaja antaa käyttöoikeuden eli lisenssin datansa

o Kopiointiin, levitykseen, muokkaukseen, yhdistelyyn ym. sekä

ei-kaupallisessa että kaupallisessa käytössä

• Datan soveltaja kantaa vastuun sovelluksestaan

• Lisenssisuositus (JHS 189): Creative Commons BY 4.0

• Suositeltava lähdeviittaus sovelluksessa:

Lähde: Helsingin 3D-rakennukset. Aineiston ylläpitäjä on Helsingin

kaupungin kiinteistövirasto ja alkuperäinen tekijä Helsingin kaupunki,

kiinteistöviraston kaupunkimittausosasto. Aineisto on ladattu

Helsinki Region Infoshare -palvelusta 30.09.2015 lisenssillä

Creative Commons Nimeä 4.0 Kansainvälinen (CC BY 4.0).

Datan julkaiseminen

• Metatiedot kuntoon• Sanallinen kuvaus: mitä data pitää sisällään, miten se on tehty, mitä

käyttäjän tulee huomioida ja tietää siitä + avainsanoitus ym. hakutoimintoja

varten

• Aineiston jakelualusta• Viraston oma palvelin / HRI:n datastore / kaupungin

verkkojulkaisujärjestelmä

• Julkaisu

Jatko

• Avauksesta tiedottaminen• Kenelle ja missä avaamisesta on hyvä tiedottaa?

• Datan ylläpito

• Muutoksista tiedottaminen• Datan / metadatan muutokset

• Palautteen kerääminen ja keskustelu• Seuraa, millaisen vastaanoton data saa, kerää palautetta, keskustele!

• Datan päivittäminen• Päivitä dataan uusimmat tiedot ilmoitetun päivitystiheyden mukaisesti

esim. kerran vuodessa. Päivitysrutiinit hyvä sopia jo dataa avattaessa.

http://www.hri.fi/fi/avaa-dataa/datan-

avaajan-muistilista/

Datan avaajan

muistilista

Datan avaamisen haasteita

• MOTIIVI - Ei koeta hyödylliseksi, tai koetaan haitalliseksi.

• RESURSSIT – Koetaan ettei ole aikaa, rahaa tai osaamista

• JURIDIIKKA – Uhka yksityisyydensuojalle tai yleiselle turvallisuudelle

• TEKNIIKKA – Ei ole sopivassa muodossa, ei ole paikkaa laittaa

tiedostoja julkiseen jakeluun

• VÄÄRINKÄYTÖN PELKO – Pelätään että julkaistua dataa tulkitaan

väärin tai käytetään väärin.

• PALAUTTEEN PELKO – Ei haluta julkaista dataa koska pelätään

palautteen ja mahdollisen kritiikin aiheuttamaa kuormitusta.

• TOIMINTAKULTTUURIN MUUTOS

Datan avaamisen haasteita

Esitetty OKCon-tapahtumassa Genevessä 9/2013

Miten ja mistä lähteä

liikkeelle?

Pääkaupunkiseudun liikennemeluvyöhykkeet

Matalalla roikkuvat hedelmät

http://www.hri.fi/fi/dataset/paakaupunkiseudun-liikennemeluvyohykkeet

Pääkaupunkiseudun väestöennusteet

Mitä tietoja kysellään eniten?

Mitä tietoja haluaisit käytettävän enemmän?

http://www.hri.fi/fi/dataset/paakaupunkiseudun-vaestoennuste-2015-2023

http://www.hri.fi/fi/ajankohtaista/miten-vaestoennuste-laaditaan/

Terassit Helsingin yleisillä alueilla

Datatoiveesta sovellukseksi

http://www.hri.fi/fi/dataset/helsingin-kaupungin-yleisten-alueiden-tapahtuma-ja-maankayttolupajarjestelma

http://www.hri.fi/fi/datatoiveet/

Helsingin kaupungin tietojärjestelmäluettelo

Tietojärjestelmäluettelo suunnittelun apuna

http://www.hri.fi/fi/dataset/helsingin-kaupungin-tietojarjestelmaluettelo

Mallia muualta Suomesta / maailmalta

http://dataportals.org/

Mitä dataa kaivataan?

Paritehtävä

Mitä dataa voisin avata?• Mitä omassa työssäsi tuottamiasi / käyttämiäsi tietoaineistoja voisi

avata?

o Mitä tulee huomioida?

o Missä formaatissa? Eräajotiedostona vai rajapinnan kautta?

• Mitä voisit saada / toivoisit saavasi avaamisesta takaisin päin?

• Miten voisit hyödyntää avointa dataa omassa työssäsi?

• Voisivatko muualla pääkaupunkiseudulla / Suomessa / maailmalla

avatut aineistot olla sinulle hyödyllisiä?

• Mitä konkreettista aiot tehdä tämän koulutuksen jälkeen?

• strategista tai toiminnallista

• aika ajoin päivittyvää tai reaaliaikaista

• koko tietoaineisto tai sen osa

• harmonisoimatonta tai harmonisoitua

• helppo avaus vs. työläämpi avaus

(rajapinnat)

• jolle on kysyntää,

hyödyntämispotentiaalia, edistää muiden

datojen hyödyntämistä

Rohkeasti avaamaan ja hyödyntämään

dataa…

Helsingin kaupungin aineistopankki/Matti Tirri

KIITOS!

75

Photo: The City of Helsinki Media Bank/Matti Tirri

Helsinki Region Infoshare (HRI)

Verkkopalvelu: www.hri.fi

Sähköposti: [email protected]

Facebook: www.facebook.com/helsinkiregioninfoshare

Twitter: @HRInfoshare

Projektipäällikkö

Tanja Lahti

[email protected]

040-553 2425

Suunnittelija

Hami Kekkonen

[email protected]

040-334 4780