Posts

Differences between FAILFAST, PERMISSIVE and DROPMALFORED modes in Dataframes

There's a bit differences between them and we're going to find out in this post. The parameter mode is a way to handle with corrupted...

Working with Schemas in Spark Dataframes using PySpark

What's a schema in the Dataframes context? Schemas are metadata that allows working with a standardized Data. Well, that was my...

Introdução ao Apache Hive com Spark e Java

O Hive é um software de Data Warehouse que possibilita a leitura, escrita e o gerenciamento de dados distribuídos e permite a utilização...

Lendo arquivo CSV com Apache Spark

Apache Spark atua muito bem na leitura de diversos arquivos para extração de dados, nesse post vamos criar um exemplo de leitura de um...

Primeiros passos com Delta Lake

O que é o Delta Lake? O Delta Lake é um projeto open-source que visa gerenciar a camada de armazenamento (Storage Layer) que segundo o...

Schema Merging com Spark e Java

Schema Merging é uma forma de evoluir schemas adicionando novas colunas através da junção de DataFrames. Imagine que você possui...

Consultas com Spark SQL

Spark SQL faz parte do core do Apache Spark e permite consultas estruturadas dentro do contexto Spark utilizando SQL. Com Spark SQL é...