Helsinki Region Infoshare Avoin data ja datajournalismi Projektipäällikkö Ville Meloni Forum Virium Helsinki – Helsinki Region Infoshare -hanke Haaga-Helia – 3.9.2012
Helsinki Region InfoshareAvoin data ja datajournalismi
Projektipäällikkö Ville MeloniForum Virium Helsinki – Helsinki Region Infoshare -hanke
Haaga-Helia – 3.9.2012
Agenda
• Helsinki Region Infoshare ja avoin data
• Datajournalismista
• Datajournalismin työkalujen esittelyä
• Apps4Finland –kilpailu ja haaste opiskelijoille!
Forum Virium Helsinki Luomme Helsingin metropolialueella asiakkaiden
tarpeisiin perustuvia, kansainvälisesti kilpailukykyisiä
digitaalisia palveluja yritysten, julkistahojen ja kansalaisten välisellä yhteistyöllä.
FVH missio - ”voimien tori”
Veturiyritykset Julkinen sektori
Kumppaniyritykset
Pk -yritysjäsenet
Forum Virium Helsingin hankealueet
• Hyvinvointi• Innovatiiviset
hankinnat• Media• Älykäs kaupunki• Innovaatioyhteisöt
Kuva: Media-hankealueen stadi.TV -verkkopalvelu
• Helsinki Region Infoshare ja avoin data
http://suomenkuvalehti.fi/jutut/kotimaa/onnettomuuskartta
http://www.hs.fi/kotimaa/Nettisivusto+paljastaa+Helsingin+vaarallisimmat+risteykset/a1305551700052
http://www.mtv3.fi/uutiset/kotimaa.shtml/missa-helsingissa-rysahtaa-katso-jattikartta-liikenneonnettomuuksista-ja-kommentoi/2012/05/1545382
http://www.hel2.fi/ksv/julkaisut/los_2011-1.pdf
http://www.hel2.fi/tietokeskus/data/kartta_aineistot/Hki_onnettomuudet_20111129CSV.zip
http://www.hri.fi/fi/data/liikenneonnettomuudet-helsingissa-2000-2010/
Avoin data
Laillinen uudelleenkäytettävyys
Tekninen uudelleenkäytettävyys
Maksuttomuus
http://opendefinition.org/http://www.hri.fi/fi/tietoa-avoimesta-datasta/mita-on-avoin-data/
Päätöksentekohttp://manybills.researchlabs.ibm.com/ Liikenne
http://www.mobitransit.com
Taloushttp://wheredoesmymoneygo.org/
Kulttuurihttp://labs.kirjastot.fi/blog/avoin-data-kaytannossa-helmet-viivakoodinlukija-androidille
AsuminenHS Open #3 -päivän yksi prototyyppi – auttaa etsimään asuntoahttp://miukupiste.fi/hsopen3/
Kaupunkiympäristön analysointihttp://data.gov.au/apps/suburban-trends/
Datan soveltaminen - esimerkkejä
Helsinki Region Infoshare - Yhteenveto
10.04.23 Forum Virium Helsinki 14
Avataan Helsingin seutua koskevaa julkista tietoa kaikkien saataville, vapaasti ja maksutta
hyödynnettäväksi
Tietoa julkaistaan koneluettavana
datana jolloin sitä on helpompi hyödyntää eri sovelluksissa ja
web-palveluissa
Pilotoidaan avoimen tiedon toimintamallia ja jaetaan opit muille
•2010-2012 (pilottivaihe)•2013 (vakiinnuttamisvaihe)
•2014- (jatkuva toiminto)
Rakennetaan verkkopalvelu jonka
avulla tieto on helposti
löydettävissä, saatavissa ja
hyödynnettävissä
Rahoittajat ja toteuttajat•Helsinki, Espoo, Vantaa, Kauniainen, Sitra, Valtiovarainministeriöltä yhteistoiminta avustusta.•Helsingin kaupungin tietokeskus ja Forum Virium Helsinki
Tiedon omistajien välisen verkoston rakentaminen
Avoimen datan hyödyt
10.04.23 Forum Virium Helsinki 15
Hallinnon sisäinen tehokkuus
Liiketoiminta ja innovaatiot
Läpinäkyvyys ja demokratia
HRI - Avattavat tietoaineistot
Tilastot ja ennusteet– Kaupunki-ilmiöt: elinolot, talous,
hyvinvointi, työllisyys, liikkuminen, syntyvyys, jne.
Karttapohjainen aineisto– Esim. kaupunkien osa-alueet
vektorimuodossa tilastodatan esittämiseksi karttapohjalla
Muu aineisto– Esim. kaupunkien julkiset palvelut,
joukkoliikenteen aikataulut, talousarviot, jne.
10.04.23 16
Esim. http://www.hri.fi/fi/artikkelit/blogit/helsingin-seudun-aluesarjat/
Esim. http://www.hri.fi/fi/data/paakaupunkiseudun-aluejakokartat/
Esim. http://www.hri.fi/fi/artikkelit/palvelukartalta-maailmalle/
HRI-verkkopalveluwww.hri.fi
•Helpottaa avoimen datan löytämistä, saatavuutta ja hyödyntämistä
•Kaikille avoin palvelu: yritykset, kansalaiset, kuntien hallinto, tutkimuslaitokset, yhteisöt, jne.
•Suunnattu erityisesti datan soveltajille (esim. sovelluskehittäjät, visualisoijat) ja tulkitsijoille (esim. tutkijat)
10.04.23 17Forum Virium Helsinki
Avoin datawww.hri.fi/fi/data-haku
•Avoimen datan haku, filtteröinti ja lataus
•Palautteen antaminen, datan kommentointi
•Keskustelujen avaaminen datoja koskien
10.04.23 18Forum Virium Helsinki
Sovelluksetwww.hri.fi/fi/sovellukset/
•Havainnollistaa mitä sovelluksia avoimella datalla on tehty
•Kertoo mihin teemoihin ja Helsingin seutua koskeviin datoihin sovellukset liittyvät
•Näyteikkuna sovelluskehittäjille
10.04.23 19Forum Virium Helsinki
Haaga-Helian opiskelijoiden analyysi HRI:stä
Haaga-Helian opiskelijoiden analyysi HRI:stä
• Pidettiin toimivana mutta vielä huonosti tunnettuna mediatoimijoiden parissa
• Kehitettävää sivuston muussa sisällöntuotannossa ja jaottelussa
• Haasteina arkistoiminen ja mahdolliset kuntauudistukset• Toimittajia varten olisi hyvä olla tarkempi synopsis datan
sisällöstä – tässä opiskelijat voisivat auttaa• Petro Poutasen blogikirjoituksen referaatti summasi
hyvin datajournalismin keskeisiä teesejä
Julkisen avoimen datan lähteitä Suomessa
• www.hri.fi• data.suomi.fi• fi.thedatahub.org• www.apps4finland.fi/fi/datakatalogi
Myös Suomen valtio aktivoitunut datan avaamisessa viimeisen vuoden aikana:
• Valtion periaatepäätös julkisten tiedovarantojen avaamisesta
• Valtion avoimen datan käyttöehdot muotoutumassa (lähellä CC-BY)
• Päätös Maanmittauslaitoksen maastotietojen avaamisesta – avaus 1.5.2012
• Tilastokeskuksen datan avaukset – www.stat.fi
• LVM:n hallinnonalan avauksien selvitys
• Ilmatieteenlaitos
Julkisen avoimen datan lähteitä ulkomailla mm.
USA•http://data.octo.dc.gov/•Datasf.org•Data.gov
UK•Data.gov.uk•Data.london.gov.uk
Globaali•Thedatahub.org
Yrityksiä jotka tarjoavat avaimet käteen open data alustoja mm.•http://www.socrata.com/•http://buzzdata.com/content/
• Datajournalismi
http://datajournalismhandbook.org/1.0/en/introduction_0.html
“What makes data journalism different to the rest of journalism? Perhaps it is the new possibilities that open up when you combine the traditional ‘nose for news’ and ability to tell a compelling story, with the sheer scale and range of digital
information now available.” — Paul Bradshaw, Birmingham City University
Datajournalismin käsikirja
http://datajournalismhandbook.org/
http://datajournalismhandbook.org/1.0/en/introduction_3.html
Datajournalismin esimerkkejä
http://www.slideshare.net/rob_jewitt/data-journalism
http://www.poynter.org/how-tos/digital-strategies/147734/5-tips-for-getting-started-in-data-journalism/
“Great data projects don’t generally begin with great data sets. They begin with great questions and the
desire to find the hardest evidence available to answer those questions. Rather than being content with
anecdotes and pithy quotes, ask yourself: Is this phenomenon measurable in some way? And then ask
yourself what Edward Tufte calls “the question at the heart of quantitative thinking”: “Compared to what?”
http://www.poynter.org/how-tos/digital-strategies/147734/5-tips-for-getting-started-in-data-journalism/
“Real data journalism comes down to a couple of predilections: a tendency to look for what is
categorizable, quantifiable and comparable in any news topic and a conviction that technology, properly applied to these aspects, can tell us
something about the story that is both worth knowing and unknowable in any other way.”
Case: Helsingin Sanomat
• HS opettelee miten avoin data voi tukea liiketoimintaa– HS Open + HS Labs
• Journalismi ja digitaalinen palvelukehitys– Nykypäivä + tulevaisuus –kulmat
• Oman kaupallisen datan ja julkisen sektorin datan yhdistäminen– Journalismia, puheenaiheita, nykyisten sovellusten
parantaminen, uusien palvelujen kehittäminen
Case: Helsingin Sanomat
• “HS Open järjestettiin Sanomatalossa 14.3.(2011) Tapahtuman tarkoitus oli ideoida uusia käyttötarkoituksia HS:n julkaisemille avoimille dataseteille.
• Lehden näkökulmasta päivä oli iso menestys. Koodareiden, toimittajien ja graafikoiden yhteisestä ideapajasta syntyi toistakymmentä toimivaa prototyyppiä datan jatkokäytöstä. Myös täysin uusia ideoita ilman kytköstä dataan syntyi. Kiitos kaikille osallistujille.”
-Esa Mäkinen HS
http://blogit.hs.fi/hsnext/tuloksia-hs-openista-1-budjettivajepeli-ja-ehdokkaiden-ammattejahttp://blogit.hs.fi/hsnext/
Case: Helsingin Sanomat
Vaaliraha, puolueetHS Open #2 -päivän yksi prototyyppihttp://hsopen.dyndns.org/istumapaikat/
AsuminenHS Open #3 -päivän yksi prototyyppi – auttaa etsimään asuntoahttp://miukupiste.fi/hsopen3/
HS Open #2 HS Open #3HS Open #1
• HS Open -poimintoja
Julkisen sektorin budjettihttp://blogit.hs.fi/hsnext/tuloksia-hs-openista-1-budjettivajepeli-ja-ehdokkaiden-ammatteja
Datalysaattori.fi
http://datalysaattori.fi/ Esim: http://datalysaattori.fi/datavarasto/jkl_elintarv/Asiakas_ddr/Asiakas.html#Asiakas=MELUILMORelationshipAnchor_
http://datajournalismi.fi/pages/datajournalismin-verkosto
• Datajournalismin työkalujen esittelyä
• Datajournalismin työkalujen esittelyä1. Datankeruu
2. Datankäsittely
Hyvä johdanto työkaluihin: http://www.poynter.org/how-tos/digital-strategies/147736/10-tools-for-the-data-journalists-tool-belt/
Datankeruu
• Avoin data
• Julkiset tietopyynnöt
• Scraperit (=hakevat webbisivuilta dataa)
Datankeruu
• Esimerkkinä https://scraperwiki.com/– http://www.slideshar
e.net/napo/a-introduction-to-scraperwiki-for-not-developers
Datankäsittely
• Excel !– “There are several sites and courses available to help
you develop spreadsheet skills. Start with sorting, filtering and subtotals, and move on to more advanced formulas. As you learn to use formulas, try at times to type them in directly, rather than using the wizards. This practice will give you more intimate knowledge of the formulas you’re using, and it will also help you begin to express your ideas in code, which will come in handy as you pick up other tools.”
– http://forjournalists.com/cookbook/index.php?title=Excel
– http://forjournalists.com/cookbook/index.php?title=Using_formulas
Ikoni: http://www.iconarchive.com/show/sleek-xp-software-icons-by-deleket/MS-Office-2003-Excel-icon.html
Datankäsittely
“All data sets are “dirty.” Repeat that to yourself three times whenever you open your laptop.” -Troy Thibodeaux
http://www.poynter.org/how-tos/digital-strategies/147736/10-tools-for-the-data-journalists-tool-belt/
Datankäsittely
CSV-kit•“csvkit is a suite of utilities for converting to and working with CSV, the king of tabular file formats.” Developed by journalists•http://csvkit.readthedocs.org/en/latest/
Google Refine•Datan “putsaustyökalu”•Esimerkkejä mm. Jens Finnes freelance journalist - http://dataist.wordpress.com/
Google Fusion tables•Datan visualisointityökalu
Datankäsittely
Quantum-GIS•Open source GIS-työkalu
•http://www.qgis.org/
•http://multimedia.journalism.berkeley.edu/tutorials/qgis-basics-journalists/
Tutoriaaleja mm.
•http://apps4finland.fi/tapahtumat/maps4finland-tyopaja/
•http://vimeo.com/48418058
•http://www.gispo.fi/ohjeita/AreaDissolve
Datankäsittely
R-kieli•R is an open source programming language and software environment for statistical computing and graphics.http://en.wikipedia.org/wiki/R_(programming_language)
•http://www.r-project.org/
SoRvi – avoimen datan työkalupakki R-kielelle•http://www.hri.fi/fi/sovellukset/sorvi-avoimen-datan-tyokalupakki-r-kielelle/
•http://louhos.wordpress.com/
http://www.hri.fi/visualisointiblogi/http://vimeo.com/34366779
Muita ohjelmointi-
kieliä:
Python, Ruby
Perl, PHP
Datankäsittely – case PDF
http://www.slideshare.net/searchbistro/the-gory-details-of-datajournalism-what-went-wrong-and-who-was-responsible-by-henk-van-ess -kalvot 94-152
• Apps4Finland –kilpailu ja haaste opiskelijoille
www.ihanahelsinki.fi
kierratysapp.blogspot.com www.parkkinappi.fi
Apps4Finland.fi
KIERRÄTYS PARKKEERAUS
TAIKAKIIKARIT
Apps4Finland kilpailutyöpoimintoja
http://www.apps4finland.fi/fi/kilpailutyot
Poiminta: Kunnat-sovellus
http://www.wanhala.net/kunnat/
http://www.apps4finland.fi/fi/kilpailutyot/visualisointi-miten-menee-kunta/?searchterm=miten%20menee%20kunta
• Haaste opiskelijoille!
Helsinkikanava.fi – valtuuston kokoukset videolla
Kuka muistaa “kasvisruokapäivän”?
http://www.youtube.com/watch?v=3i4EVfLtIu8
open.helsinkikanava.fi - esittely
Osallistukaa Apps4Finland kisaan!
• Journalistit + web-ohjelmoijat + designerit = match made in heaven!
• open.helsinkikanava.fi + muu avoin data -> tee datajournalistinen voittajasovellus jolla niittää mainetta,rahaa ja kunniaa!
• Ilmoita työ www.apps4finland.fi
• Kilpailutöiden jättöaika alkanut 1.8.2012 klo 14.00 ja loppuu 28.10.2012 klo 15.00.
Lauri Vanhala - Miksi kannattaa osallistua Apps4Finland kisaan
https://www.facebook.com/photo.php?v=435643959815510https://www.facebook.com/helsinkiregioninfoshare
Kiitos !
www.hri.fiwww.facebook.com/helsinkiregioninfoshare
www.hri.fi/visualisointiblogi
www.slideshare.net/helsinkiregioninfoshare
www.vimeo.com/hri
semantic.hri.fi
Ville MeloniForum Virium HelsinkiProjektipäällikkö[email protected]
http://www.flickr.com/photos/nney/139447386/sizes/z/in/photostream/
APPENDIX
Mitä esimerkiksi näiden pohjalta saisi rakennettua?
Talous•http://www.hri.fi/fi/data/helsingin-kaupunki-tulot-ja-menot-2009-ja-2010/
Väestö, väestömuutokset, alue•http://www.hri.fi/fi/data/helsinki-alueittain-2011-taulukot/
Demokratia ja päätöksenteko, vaalit•http://www.hri.fi/fi/data/eduskuntavaalit-helsingissa-2011/•http://www.hri.fi/fi/data/paakaupunkiseudun-aanestysaluejako/•http://www.hri.fi/fi/data/helsinkikanava-open-data/
Terveys•http://www.hri.fi/fi/data/helsingin-seudun-sairastavuusindeksi-2009/