Desenvolvendo Cargas Dinâmicas e Incrementais com SSIS December 2015
Select Virtual Chapter Meetingsmore events and info at sqlpass.org/events
VIRTUAL CHAPTER MEETING TOPICGlobal Portuguese Dec 03 21:00-22:30 UTC-
02:00HDInsight!? Hadoop?! Hive?! Uma introdução do mundo Big Data para DBA’s presented by Bruno Feldman
Saturday Night SQL Dec 06 18:00-19:00 UTC-08:00
What’s new in SQL Server 2016 Integration Services presented by Jimmy Wong
Professional Development
Dec 07 14:00-15:00 UTC-05:00
PASS Speaker 2015 Speaker Idol – The Recap presented by Denny Cherry
DBA Fundamentals Dec 08 11:00-12:00 UTC-06:00
End to End TroubleShooting for SQL Server presented by Kevin Kline
High Availability & Disaster Recovery
Dec 08 12:00-13:00 UTC-06:00
Clusters! From the ground up, Let’s build one together presented by Paul Povovich Jr
DBA Fundamentals Dec 08 12:30-13:30 UTC+10:00
Index Fragmentation: Internals, Analysis and Solutions presented by Paul Randal
Data Architecture Dec 09 12:00-13:00 UTC-06:00
Server 2016: What’s New presented by Eric Petersen
Virtualization Dec 09 12:00-13:00 UTC-05:00
pNUMA & vNUMA with Shawn Meyers
Upcoming SQLSaturdaysNorth America International
• Dec 5 Washington DC• Dec 12 Providence• Jan 9 Atlanta BI
Edition• Jan 16 Nashville • Jan 30 Austin• Feb 6 Cleveland
• Dec 5 Lima• Dec 5 Southampton• Dec 5 Lviv• Dec 12 Santiago• Dec 12 Slovenia• Dec 12 Istanbul
Visit www.sqlsaturday.com to register for an event near you!
Join a Local Chapterhttp://sqlpass.org/PASSChapters/LocalChapters.aspx
Face-to-face networking In-person learning
Opportunities to present & share
No local group? Start one!
Contact ce@sqlpass.
org
Senior BI Analyst at Comp Line
BI and Database Consultant and Instructor - One Way Solution
Writer – SQL Magazine
OLAP and ETL Consultant and Instructor – BI do Brasil
Microsoft Certified Professional
Who am I?
Arthur Luz
Schedule
Extract, Transformation and Load – Introduce
Knowing the MS Integration Services Architecture of MS Integration Services Data Flow and SQL Execute Task Variables, Parameters and Expressions Foreach Loop Container Building Simple Load with SSIS Dynamic Load Process – Architecture and
Design Building the Incremental Load in SSIS Change Data Capture - Consuming Data
Extract, Transformation and Load – Introduce
O ETL visa trabalhar com toda a parte de extração de dados de fontes externas para atender às necessidades de negócios e carga dos dados dentro do Data Warehouse.
Em tempo de criação e execução ele é divido em Extração, Transformação e Carga de dados.
Knowing the MS Integration Services
O Microsoft Integration Services é responsável por permitir a construção de cargas de integração de dados e ETL para Data Warehouse;
Solution
Project 1
Project 2
Project 3
Recipiente Macro;
Dentro de uma Solução é possível
criar vários projetos da solução Microsoft – SSIS,
SSAS, SSRS;
Architecture of SSIS
Project
Package 1
Package 2
Connection 1
Recipiente onde se cria os pacotes de
ETL a seremdesenvolvido
s;Criação das
conexões globais;
Architecture of SSIS
Recipiente para desenvolvimento dos
Fluxos de controle e de dados.
Package
Control Flow
Architecture of SSIS
Control Flow Recipiente onde se
cria o fluxo de Dados;
Possibilidade de fazer algumas configurações.
Exemplo - Email
Container
Execute SQL
Send Mail
Data Flow
Architecture of SSIS
Data FlowTask usada para
trabalho a nível de Dados.
Inúmeras possibilidades;
Lookup
Merge Join
Sort
Merge
…
Architecture of SSIS
Destino 2
Destino 1
Condição
Mesclar
Origem 2
Origem 1
Task usada para trabalho a nível de Dados.
Arquivo txt
Destino 3
Data Flow Task
Dentro da ferramenta do Integration Services é possível trabalhar com dois tipos de variáveis:
Variáveis de Usuário – Criadas dentro do Pacote pelo desenvolvedor.
Variáveis de Sistema – Guardam dados em tempo de execução do pacote.
DadosVariáve
l
Variables
Parâmetros são recipientes que recebem o valor corrente de uma determinada variável e aplica esse valor em uma determinada situação.
Dentro do SSIS um parâmetro é mapeado através do character ‘?’.
Parameters
VariávelParâmetr
o
Uma expressão é uma combinação de
símbolos (identificadores,
literais, funções e operadores) gera um único valor de dados.
Expressions
Funções MatemáticasFunções de StringFunções de Data e HoraFunções para tratamento de
NULLFunções para conversão de
tipo de dadosOperadores
Expressions – Function Types
Foreach Loop Container irá se repetir para cada elemento retornada de uma matriz.
Loop
Elemento 1Elemento 2Elemento 3
Foreach Loop Container
1. Diretório;2. Listagem Manual;3. Linhas retornadas de
um Objeto;4. Tabelas de banco de
dados5. Variável;6. XML;7. Objetos do Banco
(tabelas, views);
Foreach Loop Container - Types
Acha Parâmetros
Habilita a Trace Flag
610Desabilita a Trace Flag
610
Retorna Colunas
Carrega Tabela
Container
Dynamic Load process - Architecture and Design
Acha Parâmetros
Container
Habilita a Trace Flag 610 Return
Columns
Initial Load
Valida Tipo de Carga
Building a incremental load in SSIS
Desabilita a Trace
Flag 610Return Columns
Incremental Load
Change Data Capture – Consuming Data
O consumo de dados da feature Change
Data Capture é bem complexa se executada
de maneira padrão.
É possível realizar esse controle de carga
através do processo dinâmico e
incremental.
27
Volunteering Opportunities
PASS would not exist without its global network of passionate, dedicated, and
hardworking volunteers.
Volunteer today!
For local opportunities, please visit: volunteer.sqlpass.org
For PASS HQ related activities, please update the “MyVolunteering” section of your MyPASS
profile.
28
Want to Speak at Virtual PASS?
PASS would not exist without its global network of passionate, dedicated, and
hardworking volunteers.
E-mail us today! [email protected]
Stay Involved!• Sign up for a free membership today at sqlpass.org.
• Linked In: http://www.sqlpass.org/linkedin• Facebook: http://www.sqlpass.org/facebook• Twitter: @SQLPASS• PASS: http://www.sqlpass.org
Select Virtual Chapter Meetingsadditional events to fill in as the month progresses
VIRTUAL CHAPTER MEETING TOPICGlobal Portuguese Dec 10 21:00-22:30 UTC-
03:00A carreira do profissional de dados presented by Edvaldo Castro
Data Architecture Dec 16 12:00-13:00 UTC-06:00
Getting Started Reading Execution Plans Part 2 presented by Eric Peterson
Global Portuguese Dec 17 21:00-22:30 UTC-03:00
Desenvolvendo cargas dados Dinâmicas e Incrementais com o Integration Services
Email - [email protected]
Linkedin – Arthur Luz
Twitter - @arthurjosemberg
Skype - arthurjosemberg
Blog – arthurluz.wordpress.com
Thank you, very Much!