Diferenças entre os modes FAILFAST, PERMISSIVE e DROPMALFORMED em Spark Dataframes

Existem algumas diferenças entre eles e vamos descobrir neste post. O parâmetro mode permite passar como valor, formas de validar Dataframes visando a qualidade dos dados.

Neste post vamos criar um Dataframe utilizando PySpark e comparar as diferenças entre esses três tipos de mode, são eles:

Conteúdo do arquivo CSV

Para este post, usaremos como exemplo um arquivo CSV contendo alguns registros variados, dentre eles, registros corrompidos. A definição de registros corrompidos para este contexto é que, para a coluna engines adicionamos alguns registros com tipos diferentes do que serão definidos no esquema.

Neste caso, no esquema, a coluna engines será definida como Integer mas no conteúdo abaixo, temos alguns registro com valores do tipo String.

"type","country","city","engines","first_flight","number_built"
 "Airbus A220","Canada","Calgary",2,2013-03-02,179
 "Airbus A220","Canada","Calgary","two",2013-03-02,179
 "Airbus A220","Canada","Calgary",2,2013-03-02,179
 "Airbus A320","France","Lyon","two",1986-06-10,10066
 "Airbus A330","France","Lyon","two",1992-01-02,1521
 "Boeing 737","USA","New York","two",1967-08-03,10636
 "Boeing 737","USA","New York","two",1967-08-03,10636
 "Boeing 737","USA","New York",2,1967-08-03,10636
 "Airbus A220","Canada","Calgary",2,2013-03-02,179

Vamos começar criando um Dataframe simples que irá carregar dados do arquivo CSV contendo os registros acima, vamos supor que o conteúdo acima seja de um arquivo chamado avioes.csv. Para modelar o conteúdo, também estamos criando um esquema que nos permitirá validar os dados.

Criando um Dataframe usando o mode PERMISSIVE

O mode PERMISSIVE define valores de campos como nulos quando registros corrompidos são detectados para aquela coluna. Por padrão, se você não especificar nenhum valor para o parâmetro mode, Spark definirá o valor PERMISSIVE.

from pyspark.sql import SparkSession
 from pyspark.sql.types import StructType, StructField, StringType, IntegerType
 
 if __name__ == "__main__":
 
  spark = SparkSession.builder \
  .master("local[1]") \
  .appName("spark-app") \
  .getOrCreate()
 
  schema = StructType([
  StructField("TYPE", StringType()),
  StructField("COUNTRY", StringType()),
  StructField("CITY", StringType()),
  StructField("ENGINES", IntegerType()),
  StructField("FIRST_FLIGHT", StringType()),
  StructField("NUMBER_BUILT", IntegerType())
  ])
 
  read_df = spark.read \
  .option("header", "true") \
  .option("mode", "PERMISSIVE") \
  .format("csv") \
  .schema(schema) \
  .load("airplanes.csv")
 
  read_df.show(10)

Resultado utilizando PERMISSIVE mode

Perceba que para a colune ENGINES que possui registros que não seguem o padrão de tipagem definido, foram convertidas para o valor null.

Criando um Dataframe usando o mode DROPMALFORMED

O mode DROPMALFORMED ignora registros corrompidos. O que significa que, se você escolher este tipo de mode, os registros corrompidos não serão listados.

from pyspark.sql import SparkSession
 from pyspark.sql.types import StructType, StructField, StringType, IntegerType
 
 if __name__ == "__main__":
 
  spark = SparkSession.builder \
  .master("local[1]") \
  .appName("spark-app") \
  .getOrCreate()
 
  schema = StructType([
  StructField("TYPE", StringType()),
  StructField("COUNTRY", StringType()),
  StructField("CITY", StringType()),
  StructField("ENGINES", IntegerType()),
  StructField("FIRST_FLIGHT", StringType()),
  StructField("NUMBER_BUILT", IntegerType())
  ])
 
  read_df = spark.read \
  .option("header", "true") \
  .option("mode", "DROPMALFORMED") \
  .format("csv") \
  .schema(schema) \
  .load("airplanes.csv")
 
  read_df.show(10)

Resultado utilizando DROPMALFORMED mode

Após definirmos o valor do mode como DROPMALFORMED, perceba que ao listar o registros do Dataframe, os registros corrompidos foram ignorados, não sendo apresentados no Dataframe.

Criando um Dataframe usando o mode FAILFAST

Diferente do mode DROPMALFORMED e PERMISSIVE, FAILFAST lança uma exceção quando detecta registros corrompidos.

from pyspark.sql import SparkSession
 from pyspark.sql.types import StructType, StructField, StringType, IntegerType
 
 if __name__ == "__main__":
 
  spark = SparkSession.builder \
  .master("local[1]") \
  .appName("spark-app") \
  .getOrCreate()
 
  schema = StructType([
  StructField("TYPE", StringType()),
  StructField("COUNTRY", StringType()),
  StructField("CITY", StringType()),
  StructField("ENGINES", IntegerType()),
  StructField("FIRST_FLIGHT", StringType()),
  StructField("NUMBER_BUILT", IntegerType())
  ])
 
  read_df = spark.read \
  .option("header", "true") \
  .option("mode", "FAILFAST") \
  .format("csv") \
  .schema(schema) \
  .load("airplanes.csv")
 
  read_df.show(10)

Resultado utilizando FAILFAST mode

ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)

org.apache.spark.SparkException: Malformed records are detected in record parsing. Parse Mode: FAILFAST. To process malformed records as null result, try setting the option 'mode' as 'PERMISSIVE'.

Material de estudo

Se quer aprender mais sobre o assunto e alcançar um alto nível de conhecimento, recomendo fortemente a leitura do(s) seguinte(s) livro(s):

Spark: The Definitive Guide: Big Data Processing Made Simple (Versão Inglês) é uma referência completa para quem quer aprender o Spark e sobre as suas principais funcionalidades. Lendo esse livro, você vai aprender sobre DataFrames, Spark SQL através de exemplos práticos. O autor mergulha nas APIs de baixo nível do Spark, RDDs e também sobre como o Spark é executado em um cluster e como depurar e monitorar os aplicativos de clusters do Spark. Os exemplos práticos estão em Scala e Python.

Beginning Apache Spark 3: With Dataframe, Spark SQL, Structured Streaming, and Spark Machine Library (Versão Inglês) com a nova versão do Spark, este livro explora os principais recursos do Spark, como o uso de Dataframes, Spark SQL no qual você pode usar SQL para manipular dados e Structured Streaming para processar dados em tempo real. Este livro contém exemplos práticos e trechos de código para facilitar a leitura.

High Performance Spark: Best Practices for Scaling and Optimizing Apache Spark (Versão Inglês) é um livro que explora as melhores práticas usando a linguagem Spark e Scala para lidar com aplicações de dados em larga escala, técnicas para transformações utilizando RDD, e também mostra como as novas interfaces do Spark SQL melhoram o desempenho sobre a estrutura de dados RDD do SQL, exemplos de Spark MLlib e o uso de bibliotecas de aprendizado de máquina de ML e muito mais.

Python Crash Course, 2nd Edition: A Hands-On, Project-Based Introduction to Programming (Versão Inglês)

abrange os conceitos básicos do Python por meio de exemplos interativos e práticas recomendadas.

Learning Scala: Practical Functional Programming for the Jvm (Versão Inglês) é um excelente livro que aborda a linguagem Scala através de exemplos e exercícios práticos. Lendo este livro, você aprenderá sobre os principais tipos de dados, literais, valores e variáveis. Construir classes que compõem uma ou mais características para total reutilização, criar novas funcionalidades misturando-as na instanciação e muito mais. Scala é uma das principais linguagens em projetos de Big Data em todo o mundo, com grande uso em grandes empresas de tecnologia como o Twitter e também a linguagem principal do Spark.

Bom é isso, espero que tenham gostado!