Title: Análise de Dados / Ciclo de Vida de Dados
Tags: Análise_de_Dados Resumo
On every note of this deck, unless a note says otherwise:
tldr: O ciclo de vida dos dados descreve as fases pelas quais um dado passa desde sua criação até o descarte. Embora as fases possam variar conforme a perspectiva de cada autor, um modelo comum é: Coleta -> Tratamento -> Armazenamento -> Integração -> Recuperação -> Descarte.
Principais Etapas do Ciclo de Vida dos Dados:
1. Coleta: Obtenção dos dados necessários para atender a uma necessidade específica, definindo escopo, fontes, formatos e garantindo a qualidade e procedência.
2. Tratamento: Transformação, processamento, limpeza e padronização de dados provenientes de diversas fontes, garantindo que estejam em um formato consistente e de acordo com as regras de negócio.
3. Armazenamento: Persistência dos dados tratados em dispositivos de memória não-volátil (ex: bancos de dados), garantindo sua permanência, contextualização e segurança.
4. Integração: Unificação de dados de diferentes fontes em uma base de dados coerente e inter-relacionada, permitindo que os dados se relacionem para auxiliar o usuário. Ocorre desde a coleta.
5. Recuperação: Encontrar, acessar, consultar e interpretar os dados armazenados, tornando-os disponíveis para uso através de visualizações (dashboards, gráficos) ou cópias para análise.
6. Descarte: Eliminação segura e completa dos dados que não são mais necessários, considerando o impacto na integridade de outros dados e garantindo que a exclusão seja explícita e não apenas oculta.
Processo ETL (Extract, Transform, Load)
ETL é um processo fundamental na construção de Data Warehouses (DWs) para a Business Intelligence (BI). Ele consiste em:
1. Extração (Extract): Coleta de dados de diversas fontes, que podem ser homogêneas ou heterogêneas. Esta é uma etapa crítica e demorada, pois pode exigir diferentes métodos de extração para cada fonte.
2. Transformação (Transform): Limpeza, correção, padronização e reorganização dos dados extraídos. Isso ocorre em uma área temporária chamada Stage Area para garantir a integridade e consistência dos dados antes de carregá-los no DW.
3. Carga (Load): Inserção dos dados transformados no destino final, o Data Warehouse. Pode ser uma carga inicial completa ou cargas incrementais (apenas dados novos ou alterados desde a última carga).
O processo ETL é o mais demorado e crítico no desenvolvimento de um DW, pois os dados trabalhados nele darão base para decisões estratégicas da organização. Decisões incorretas podem surgir de dados mal processados no ETL. A integração dos dados de diferentes fontes ocorre dentro do próprio DW. A recuperação é feita por meio de relatórios, dashboards, etc.
link: https://documentacao.online/estudos/wmio.html

front: (CESPE / TJ-PA – 2020) Assinale a opção que indica um processo de extração e transformação de dados em um data Warehouse:
a) Big Data
b) OLAP
c) OLTP
d) ETL
e) machine learning
response: Letra D
comment: O processo de extração e transformação de dados para um data Warehouse é o ETL.
title: Ciclo de Vida de Dados
Other fields (not shown on cards):
back: Letra D - O processo de extração e transformação de dados para um data Warehouse é o ETL.

front: (VUNESP / Prefeitura de Campinas - SP – 2019) No contexto de armazéns de dados (data warehouse), a área intermediária na qual os dados coletados pelo processo de ETL são armazenados antes de serem processados e transportados para o seu destino é chamada de:
a) cubo OLAP.
b) dicionário de dados.
c) staging.
d) data vault.
e) data mart.
response: Letra C
comment: A área intermediária na qual os dados coletados são armazenados antes de serem processados e transportados para o seu destino é chamada de stage area ou staging.
title: Ciclo de Vida de Dados
Other fields (not shown on cards):
back: Letra C - A área intermediária na qual os dados coletados são armazenados antes de serem processados e transportados para o seu destino é chamada de stage area ou staging.

front: (CESPE / STM – 2018) Em processos ligados a ETL, os dados são identificados e extraídos de diferentes fontes, incluindo sistemas de banco de dados e aplicações.
response: Correto
comment: Impecável! Dados realmente são identificados e extraídos de diversas fontes diferentes de forma consistente, padronizada e uniforme no Processo de ETL.
title: Ciclo de Vida de Dados
Other fields (not shown on cards):
back: Correto - Impecável! Dados realmente são identificados e extraídos de diversas fontes diferentes de forma consistente, padronizada e uniforme no Processo de ETL.

front: (CESPE / CGM JOÃO PESSOA – 2018) Uma ferramenta de ETL deve ser capaz de extrair dados de fontes heterogêneas, copiá-los para uma área de transição, onde possam ser convertidos conforme o padrão estabelecido, e, ainda, realizar limpeza e correção nesses dados, de acordo com regras preestabelecidas.
response: Correto
comment: Dados heterogêneos são aqueles dados de tipos diferentes, em contraste com os dados homogêneos, que são aqueles dados de tipos iguais. Uma Ferramenta ETL realmente é capaz de extrair dados de fontes heterogêneas (ou homogêneas), copiá-los para uma área de transição (conhecida como Stage Area), onde possam ser convertidos (ou transformados) conforme o padrão estabelecido e, ainda, realizar limpeza e correção nos dados, de acordo com regras preestabelecidas.
title: Ciclo de Vida de Dados
Other fields (not shown on cards):
back: Correto - Dados heterogêneos são aqueles dados de tipos diferentes, em contraste com os dados homogêneos, que são aqueles dados de tipos iguais. Uma Ferramenta ETL realmente é capaz de extrair dados de fontes heterogêneas (ou homogêneas), copiá-los para uma área de transição (conhecida como Stage Area), onde possam ser convertidos (ou transformados) conforme o padrão estabelecido e, ainda, realizar limpeza e correção nos dados, de acordo com regras preestabelecidas.

front: (FCC / DPE - AM – 2018) Sobre o processo de ETL, aplicado a data warehouse, é correto afirmar que:
a) a fase de extração de dados consiste em obter os dados do servidor do data warehouse.
b) a fase de transformação consiste em realizar modificações nos dados carregados, adequando seus valores ao modelo definido para o data warehouse.
c) as fases de extração e carga de dados são realizadas de forma simultânea.
d) a fase de carga de dados visa eliminar valores nulos contidos nos bancos de dados transacionais da empresa.
e) a fase de carga de dados consiste em inserir os dados transformados nos bancos de dados transacionais da empresa.
response: Letra B
comment: (a) Errado. Dados são obtidos de fontes diversas, tratados e inseridos no Data Warehouse; (b) Correto. É na fase de transformação que é realizada a conversão e padronização dos dados carregados na área de stage conforme o Data Warehouse; (c) Errado. Primeiro é realizada a extração, depois a transformação e, em seguida, a carga; (d) Errado. A fase de transformação é responsável por eliminar valores nulos de um banco de dados transacional; (e) Errado. São extraídos de bancos de dados transacionais e inseridos no Data Warehouse.
title: Ciclo de Vida de Dados
Other fields (not shown on cards):
back: Letra B - (a) Errado. Dados são obtidos de fontes diversas, tratados e inseridos no Data Warehouse; (b) Correto. É na fase de transformação que é realizada a conversão e padronização dos dados carregados na área de stage conforme o Data Warehouse; (c) Errado. Primeiro é realizada a extração, depois a transformação e, em seguida, a carga; (d) Errado. A fase de transformação é responsável por eliminar valores nulos de um banco de dados transacional; (e) Errado. São extraídos de bancos de dados transacionais e inseridos no Data Warehouse.

front: (FCC / PREF SÃO LUÍS – 2018) Para extrair dados de fontes de dados heterogêneas que irão alimentar um Data Warehouse de forma homogênea e concisa, servindo de base para gerar relatórios e gráficos para apoiar as decisões da gerência da organização, deve-se utilizar um processo conhecido como:
a) OLAP.
b) Data Mart.
c) ETL.
d) OLTP.
e) Data Mining.
response: Letra C
comment: Vamos analisar as palavras-chave: extrair dados; fontes heterogêneas; alimentar um DW; gerar relatórios e gráficos; apoiar as decisões. Todas elas nos remetem ao Processo de ETL.
title: Ciclo de Vida de Dados
Other fields (not shown on cards):
back: Letra C - Vamos analisar as palavras-chave: extrair dados; fontes heterogêneas; alimentar um DW; gerar relatórios e gráficos; apoiar as decisões. Todas elas nos remetem ao Processo de ETL.