MVP Virtual Conference 2013 Cenário atual no mundo dos dados e a plataforma SQL Server Luciano Moreira
Feb 23, 2016
MVP Virtual Conference 2013Cenário atual no mundo dos dados e a plataforma SQL ServerLuciano Moreira
Luciano Moreira [Luti]
SQL Server MVP | PASS RM | MC* | MCM
Wannabe
@luticm
http://luticm.blogspot.com
Agenda
A plataforma SQL Server
Business Intelligence
Cloud Computing
Big Data AppliancesEngine
Relacional vNext
Referências Conclusão
SQL Server
SQL Server 4.2 – Fim do acordo com Sybase SQL Server 6.5 – Pequenos volumes de dados e suporte
Windows NT SQL Server 7.0
Mudanças arquiteturais (tamanho de página, UMS) Full-Text Search e DTS OLAP Services
SQL Server 2000 Entrando no mundo Enterprise Boa estabilidade e desempenho
SQL Server 2005 SSRS, SSIS e SSAS = BI edition Database Mirror, Snapshot (DB e Isolation), ...
SQL Server
SQL Server 2008 Enterprise Level – Audit, PBM, compressão backup e dados,
mirroring, xEvents, Resource Governor, filestream Reescrita engine SSRS
SQL Server 2008 R2 StreamInsight, Master Data Services PowerPivot PDW
SQL Server 2012 AlwaysOn Availability Groups ColumnStore Index Data Quality Services, Filetable, semantic search, SSAS
tabular, windowing functions, distributed replay, SSDT, batch processing, ...
Business Intelligence / Data Warehouse
DW vs BI Uma das maiores tendências no mundo dos dados Presente na lista de prioridade do Gartner nos últimos 10
anos 10 anos? TI? Falhas dos projetos
Projeto complexo Problemas nos dados Usuário não sabe o que quer Só preciso de um relatório Mudança
Modo de “fazer BI” vem mudando
Business Intelligence / Data Warehouse
OLTP OLAP
Business Intelligence / Data Warehouse
OLTP OLAP
OLAP
?
Cloud Computing
Preciso falar que é uma tendência em TI? Não é para todo mundo, mas é um facilitador Pequenos podem se tornar grandes Windows Azure SQL Database
Release contínuo de funcionalidade Azure Tables
Espaço noSQL (MongoDB, Cassandra, BigTable, etc.) Database on the cloud ou database for the cloud?
NuoDB
O volume de dados só cresce...
Contra 5% Do aumento do custo de
TI
50%Crescimento global de dados
Há mais dados armazenados
por empresa do que na
biblioteca do Congresso dos
EUA
15 17Setores de Negócios – U.S
de
Números de dispositivos conectados por adulto nos EUA.
4.3Média
Gerado pela NYSE todo
dia
55 GBsDe dados de mercado
Volume de informações está crescendo em todo o mundo a uma taxa mínima de 59% ao ano com 15% de dados dados estruturados e o resto composto de novos tipos de dados complexos o que contribui para cenários de Big Data - Donald Feinberg, Gartner IT Symposium, Outubro 2010
Big Data
Explosão de dados = fenômeno “Big Data”
The economist: “The data deluge” Bilhões de dados sendo gerados a
cada minuto ou segundo Aplicações crescem e maiores
volumes de dados têm que ser armazenados
Necessidade de armazenar, catalogar, explorar e fazer esse dado virar informação
Big Data
Muitos da TI encaram esse volume de dados como CUSTO Mas deveriam ver os dados como uma OPORTUNIDADE
O que é Big Data? É algo que fica entre medium data e gigantic data?
Big Data é uma coleção de dados tão grande e complexa que fica difícil de processar usando ferramentas de gerenciamento de banco de dados ou aplicações tradicionais.
A quantificação do valor (TB, PB) não é precisa e a cada evolução da tecnologia o big dá um passo a mais
Big Data - Hadoop
Big Data - Hadoop
HDInsight
https://www.hadooponazure.com/ HDInsight http://www.windowsazure.com/en-us/manage/services/hdin
sight/introduction-hdinsight/
http://www.windowsazure.com/en-us/manage/services/hdinsight/
Polybase
Integração entre mundo relacional e hadoop (não-relacional)
http://projectbotticelli.com/news/sql-server-2012-sp1-hekaton-xvelocity-polybase-data-mining-office-sharepoint-2013
http://www.zdnet.com/microsofts-polybase-mashes-up-sql-server-and-hadoop-7000007424/
http://www.microsoft.com/en-us/sqlserver/solutions-technologies/data-warehousing/polybase.aspx
http://gsl.azurewebsites.net/Projects/Polybase.aspx
Appliances
Parallel Data Warehouse v1 PDW 2012
Up to 50x performance gains with the xVelocity updateable columnstore.
Up to 100x performance gains over legacy warehouses. Seamless integration with “Big Data” using PolyBase. Multi-petabyte data capacity. 2.5x lower price per terabyte than SQL Server 2008 R2 PDW
and lowest price per terabyte in industry. Configuração da “caixa” dispensa experts em diversas
áreas na sua empresa
Engine relacional
Avanços no query optimizer (star join queries, desempenho, etc.)
SQL Server 2012 ColumnStore Indexes (não-cluster, não atualizável) Batch Processing
Armazenamento por coluna apresenta muitas vantagens: Compressão Segment elimination Column elimination SQL Server vNext
Clustered columnstore index Updatable
Engine relacional Projeto HEKATON = In-memory databases Não é pintable! Não necessita de appliance para executar, reutiliza mesmo
hardware de hoje Demonstração PASS 2012 = 30x ganho de desempenho Optimistic Approach (no latching) Código nativo in-memory Aceleração das transções Uma melhor b-tree http://
research.microsoft.com/en-us/news/features/hekaton-122012.aspx
Conclusão
Talvez o mundo dos dados nunca foi tão empolgante como o que estamos vivendo hoje!
Cientistas de dados
Luciano Moreira [Luti]
SQL Server MVP | PASS RM | MC* | MCM
Wannabe
@luticm
http://luticm.blogspot.com
Obrigado.