Promo Minor Big data in Urban Jurjen Helmus / Nanda Piersma University of Applied Sciences Amsterdam Urban Technology Opdracht 1 – Het big data Landschap
Promo Minor Big data in Urban Jurjen Helmus / Nanda PiersmaUniversity of Applied Sciences Amsterdam
Urban TechnologyOpdracht 1 –
Het big data Landschap
Het doel van deze opdracht is• dat je een beeld hebt bij historische context en
huidige staat van Big Data• dat je de verschillende type software kent• dat je enig Jargon kent• Dat je zelfstandig uit kunt zoeken wat pro’s en
con’s van software zijn
... Hoe groot is BIG DATA?
Vanuit mijn persoonlijke ervaring met de groei van bits naar bytes
Sharp mz700 (32kB RAM)
Commodore 64 (64kB RAM)
AMD 386sx DOS 16mB RAM
Pentium 1..2..3..4..etc (4mB tot 128GB RAM)
IBM mainframes (Gig’s floating around)
Focus op veel eenvoudig berekenen ipv zware berekeningen
Clients
orders
mainframe
Print job
Van CPU naar GPU
Relational databases (SQL alike, 100MB tot 10GB data)
Het opschalen van een SQL DB leidt tot fundamentele problemen
SQL server
1 gebruiker, 1MB data, 1 database
SQL server
10 gebruikers, 10GB data, 1 database
Applicatie server
File servers
SQL serverData
1000 gebruikers, 10 TB, 1 SQL server
Applicatie server
van small data naar big bigger biggest data
Matt Turck
Another key thing to understand: Big Data success is not about implementing one piece of technology (like Hadoop or anything else), but instead requires putting together an assembly line of technologies, people and processes. You need to capture data, store data, clean data, query data, analyze data, visualize data. Some of this will be done by products, and some of it will be done by humans. Everything needs to be integrated seamlessly. Ultimately, for all of this to work, the entire company, starting from senior management, needs to commit to building a data-driven culture, where Big Data is not “a” thing, but “the” thing.
https://www.linkedin.com/pulse/big-data-still-thing-2016-landscape-matt-turck
Meer data
Op basis van 6 onderliggende ontwikkelingen ontstond Big Data
Het schalingsprobleem wordt door het map-reduce model volledig opgelost
Niet traditionele (noSQL) databases ontstonden doordat er
http://www.vikramtakkar.com/2015/12/nosql-types-of-nosql-database-part-2.html
Key Value store databases
Document stores
Graph database
Column Store
Ja maar…. Hadoop dan???
Het big data landscape in 2012
Het big data landscape in 2012
Het open source data landscape in 2014
Deze elementen krijg je in de minor mee te maken
Opdracht (in groepen van 4) Kies een categorie uit het Big Data landscape 2016 en kies daarin een software pakket. Maak een presentatie waarin de volgende elementen zitten• Beschrijving van de categorie• Waar bevindt deze categorie zich in het big data proces• Beschrijving van de software (werking / functionaliteiten / doelgroep/ prijs)• Maak overzicht van alle onbekende vaktermen die je tegengekomen bent en
geef hier een definitie van
ANY QUESTIONS