#6 Orquestração de Pipelines: Airflow e Spark na prática
Série: Trilha prática para se tornar Engenheiro de Dados – Capítulo 6 Pré-requisitos importantes antes de usar o Apache Spark Antes de mergulhar no Spark, garanta que você tem: Ter acompanhado os Capítulos 1 a 5 e o ambiente preparado conforme mostrado neles: Capítulo 1: Seu primeiro pipeline ETL Capítulo 2: Python + SQL – a dupla inseparável Capítulo 3: Data Lake, Data Warehouse e o conceito de Lakehouse Capítulo 4: Orquestração de Pipelines com Airflow Capítulo 5:Apache Spark: Processamento Distribuído de Dados na Prática Introdução Até aqui, você já aprendeu: a importância do Engenheiro de Dados no ecossistema, como Python e SQL se complementam, os conceitos de Data Lake, Data Warehouse e Lakehouse, como criar DAGs simples no Airflow, e como processar dados em escala com o Spark. Agora vamos conectar os pontos . Neste capítulo, você vai aprender a orquestrar um pipeline Spark dentro do Airflow , unindo a escalabilidade do Spark com o controle e monitoramento do Airflow. Por que orquestrar Spark com Airflow? Imagine que você já tem um ETL em Spark funcionando (como vimos no Capítulo 5 ). Mas e se você precisar: rodar esse pipeline todos os dias, monitorar erros, registrar logs de execução, e integrar com outros processos (ex.: enviar e-mail, mover arquivos, atualizar dashboards)? Rodar tudo manualmente seria inviável. É aqui que entra a orquestração .O Airflow permite agendar, monitorar e coordenar jobs Spark (ou qualquer outro tipo de tarefa). Criando a DAG que orquestra o Spark Agora vamos criar uma DAG que orquestra o ETL em Spark desenvolvido no Capítulo 5. Passo 1 – Crie o arquivo da DAG Salve este código na pasta de DAGs ( dags/spark_etl_dag.py) : Crie um arquivo Python e adicione o código abaixo: Passo 2 – Valide no Airflow UI Acessa a UI do Airflow acessando a URL http://localhost:8080 Para mais informações sobre como iniciar o Airflow, acesse o capítulo 4 Busque pela DAG spark_etl_pipeline Clique no botão Trigger (▶) no canto superior direito do console. Confira os logs no Airflow e verifique se os arquivos Parquet foram criados em /tmp/produtos_metricas_airflow . Após a execução, acesse a aba Logs e veja o Output Pronto! Você acaba de criar um ETL usando Spark integrada ao Airflow! Bora pra próxima? Leituras recomendadas Capítulo 1: Seu primeiro pipeline ETL Capítulo 2: Python + SQL – a dupla inseparável Capítulo 3: Data Lake, Data Warehouse e o conceito de Lakehouse Capítulo 4: Orquestração de Pipelines com Airflow Capítulo 5:Apache Spark: Processamento Distribuído de Dados na Prática Criando ETLs simples com Python Guia Técnico: Princípios e Arquitetura do Apache Spark para Iniciantes Como Shuffle e Coalesce funcionam no Apache Spark Introdução ao Apache Hive com Spark e Java Lendo arquivo CSV com Apache Spark Conclusão Agora você tem um pipeline Spark automatizado e monitorado pelo Airflow . Com isso, você aprendeu: a importância da orquestração, como rodar Spark de forma agendada, e como monitorar resultados diretamente no Airflow. O que vem a seguir? 👉 Nos próximos capítulos, vamos falar de persistência e formatos de dados (Cap. 7) , explorando como salvar e ler dados em CSV, JSON e Parquet. Gostou desse capítulo? 👉 Assine a newsletter Coffee & Tips e receba os próximos capítulos direto no seu e-mail. 👉 Pré-venda exclusiva Em breve também vamos lançar um E-Book avançado , com tutoriais em Spark, Airflow, Redshift, tudo para você se tornar um Engenheiro de Dados! Cadastre-se agora na lista de pré-venda e garanta: Acesso antecipado antes do lançamento oficial 🚀 Benefícios exclusivos para inscritos 💡 Conteúdo extra que não estará disponível gratuitamente Fique ligado!
