Posts

How to save costs on S3 running Data Lake

Cloud services provides useful resources to scale your business faster but not always we can measure cloud costs when we’re starting a...

Understanding Delta Lake Time Travel in 2 minutes

Delta Lake provides a way to version data for operations like merge, update and delete. This makes transparent how data life cycle inside...

Converting Parquet table to Delta Table

For this post we're going to create examples to how convert parquet table to Delta table. First, we'll create a parquet table from...

Differences between FAILFAST, PERMISSIVE and DROPMALFORED modes in Dataframes

There's a bit differences between them and we're going to find out in this post. The parameter mode is a way to handle with corrupted...

Working with Schemas in Spark Dataframes using PySpark

What's a schema in the Dataframes context? Schemas are metadata that allows working with a standardized Data. Well, that was my...

Introdução ao Apache Hive com Spark e Java

O Hive é um software de Data Warehouse que possibilita a leitura, escrita e o gerenciamento de dados distribuídos e permite a utilização...

Lendo arquivo CSV com Apache Spark

Apache Spark atua muito bem na leitura de diversos arquivos para extração de dados, nesse post vamos criar um exemplo de leitura de um...

Primeiros passos com Delta Lake

O que é o Delta Lake? O Delta Lake é um projeto open-source que visa gerenciar a camada de armazenamento (Storage Layer) que segundo o...

Schema Merging com Spark e Java

Schema Merging é uma forma de evoluir schemas adicionando novas colunas através da junção de DataFrames. Imagine que você possui...

Consultas com Spark SQL

Spark SQL faz parte do core do Apache Spark e permite consultas estruturadas dentro do contexto Spark utilizando SQL. Com Spark SQL é...