Curso de Data Lake – Desenho e Projeto – DL000

sse módulo é o DL000 – Parte I da formação de Data Lakes

Nesse módulo vamos abordar os fundamentos da criação de um Data Lake, suas característics, divisões e pontos chaves.

Desenho e Projeto de Data Lakes – 16 horas

PARTE 1 – BIG DATA
-Conceitos e Fundamentos
-Tecnologias

PARTE 2 – Intro Data Lake
-Intro
– DW x DL
– Arquiteturas
– DL As Plataform
– Opções para rodar
– Arquitetura Lógica

PARTE 3 – Data Lake on Premisses x DL on Cloud
– Hadoop
– NoSql
– Nuvens : Google, AWS e Azure

PARTE 5 – Ingestão de dados no Lake
– Dados SQL
– Streaming
– Arquivos
– API

PARTE 6 – Armazenamento de Dados no Lake
– Arquivos CSV, TXT
– Arquivos JSON/XML
– Formato Parquet/ORC
– Outros Formatos

PARTE 6 – Processamento de Dados no Lake
– Processamento de Dados com SQL ( Query )
– Processamento de Streaming (Lambda Arquitecture)
– Processamento de Arquivos
– Processamento de Imagens, Audio, Video
– Processamento de Machine Learning

PARTE 7 – Consumo de Dados no Lake
– Consumindo via SQL
– Consumindo via API
– Comsumindo via Streaming/Fila

PARTE 7 – Visão Geral Spark
– Fundamentos Spark
– Spark SQL/DataFrame
– Spark Streaming
– Spark ML
– Spark GraphX