Delta Lakehouse - Transações de dados no Databricks
Databricks Delta Lake
Updated on Sep, 2023
Language - Portuguese
Course Description
Aprender Databricks Delta Lake, incrível curso que conta com a construção de notebooks em R, Python, Scala e SQL permitindo que você crie arquivos no formato parquet (um dos mais utilizados em Big Data) e gere sobre ele um controle transacional como um banco de dados, é algo super moderno e ultrarrápido, tudo isso graças ao chamado Data Time Travel, que controla todas as versões dos registros gravados no Databricks, é ou não é incrível!
Então venha e comece hoje mesmo e conheça estes dois super cursos.
Este é um dos principais treinamentos da área de engenharia de dados, que traz um conceito novo para estes profissionais que buscam mais controle, refinamento e enriquecimento de suas bases utilizando o ferramental do Databricks, estamos falando de uma das principais funcionalidades do mercado na construção de Data Lakehouse, que está revolucionado o mundo cloud, para quem deseja trabalhar com Spark e alta perfomance, vamos aprender a trabalhar com o Databricks Delta Lake.
O Databricks Delta Lake é um projeto de código aberto que permite construir uma arquitetura chamada Lakehouse sobre o Data Lake no Databricks. O Delta Lake fornece processamento em batch, streaming em lote, além de controle de transações sobre os dados, como um banco de dados
O Databricks Delta Lake é o que de mais moderno em plataforma para cloud que utilizam o SPARK como seu motor de processamento e que permitem controlar todas as transações sobre seus dados de forma nativa.
Então venha e comece hoje mesmo seu treinamento!
Goals
What will you learn in this course:
- Entendendo a arquitetura chamada Lakehouse sobre o Data Lake no Databricks
- Trabalhando com características ACID (Atomicidade, Consistência, Isolamento, Durabilidade) ao Delta Lake
- Entendendo versionamento dos dados, permite que os dados sejam acessados e revertam para versões anteriores de dados, controle de históricos
- Diferenças das arquiteturas Data Lake x Delta Lake
- Trabalhando a criação de tabelas Delta e como gerar históricos de dados
- Controle de auditoria, agindo na conformidade de dados quanto de depuração simples para entender como os dados mudaram ao longo do tempo
- Executando scripts batch e streaming
- Trabalhando com Schema Evolution na inclusão de atributos as tabelas delta
- Entendo o que significa checkpoint e controle de gravações dos dados
Prerequisites
What are the prerequisites for this course?
- É importante que você conheça um pouco de Python, R, Scala, SQL, não haverá treinamento destas linguagens neste curso.
- Importante conhecer execução de scripts em Python, R, Scala, SQL.
Curriculum
Check out the detailed breakdown of what’s inside the course
Databricks Delta Lake - Transformando seus dados
13 Lectures
-
Arquivos
00:22
00:22
-
Introdução ao Databricks Delta Lake
09:03
09:03
-
Quais são Diferenças sobre Data Lake x Delta Lake
10:11
10:11
-
Iniciando no Databricks e como o ambiente funciona
10:54
10:54
-
Passo a passo - Criando uma conta Databricks Community Edition - Free
-
Carregamento dados sobre compras e controle de dados
10:00
10:00
-
Entendo o controle de transações - Delta_log no Databricks Delta Lake
05:27
05:27
-
Utilizando o Describe de versões Delta Lake e Restore de versões
11:00
11:00
-
Realizando a carga de dados Hotel e aprendendo a otimizar as consultas no Delta Lake
12:36
12:36
-
Aprendendo a executar o processo de Delta Time Travel
16:57
16:57
-
Aprenda a construir tabelas Delta e verificando o controle de transações e as constraints
10:40
10:40
-
Aprenda Executar Streaming script e armazenando os dados em uma tabela Delta Lake
17:39
17:39
-
Aprenda a criar Schema Evolution em tabelas Delta Lake
17:51
17:51
Instructor Details
Grimaldo Lopes de Oliveira
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 100 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 15 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.
Course Certificate
User your certification to make a career change or to advance in your current career. Salaries are among the highest in the world.
Our students work
with the Best
Related Video Courses
View MoreAnnual Membership
Become a valued member of Tutorials Point and enjoy unlimited access to our vast library of top-rated Video Courses
Subscribe now
Online Certifications
Master prominent technologies at full length and become a valued certified professional.
Explore Now