JP
How to save costs on S3 running Data Lake
Cloud services provides useful resources to scale your business faster but not always we can measure cloud costs when we’re starting a...
top of page
Posts
JP
- 29 de nov. de 2022
- 2 min
Understanding Delta Lake Time Travel in 2 minutes
Delta Lake provides a way to version data for operations like merge, update and delete. This makes transparent how data life cycle inside...
JP
- 21 de nov. de 2022
- 2 min
Converting Parquet table to Delta Table
For this post we're going to create examples to how convert parquet table to Delta table. First, we'll create a parquet table from...
JP
- 26 de jul. de 2022
- 7 min
First steps with DBT - Data Build Tool
DBT has been used by a lot of companies on Data area and I believe that we can extract good insights in this post about it. That's going...
JP
- 18 de abr. de 2022
- 2 min
Differences between FAILFAST, PERMISSIVE and DROPMALFORED modes in Dataframes
There's a bit differences between them and we're going to find out in this post. The parameter mode is a way to handle with corrupted...
leandro pereira
- 1 de abr. de 2022
- 3 min
Integração Salesforce com AWS AppFlow e S3
É muito comum que Devs Salesforce precisem integrar dados do CRM com um banco de dados ou data lake por exemplo de uma empresa. Quando o...
JP
- 28 de mar. de 2022
- 2 min
Working with Schemas in Spark Dataframes using PySpark
What's a schema in the Dataframes context? Schemas are metadata that allows working with a standardized Data. Well, that was my...
JP
- 17 de fev. de 2022
- 2 min
Differences between External and Internal tables in Hive
There are two ways to create tables in the Hive context and this post we'll show the differences, advantages and disadvantages. Internal...
JP
- 13 de fev. de 2022
- 2 min
How to generate random Data using Datafaker lib
Sometimes in our projects we have to fill Java objects for unit tests or even to create a database dump with random data to test a...
JP
- 30 de jan. de 2022
- 3 min
Creating a Java code using Builder pattern
If you're using a language that supports oriented object in your project, probably there's some lines of codes with Builder pattern. If...
philippemagno
- 19 de jan. de 2022
- 2 min
Versionamento de Banco de Dados utilizando Flyway
O versionamento de dados em banco de dados é uma ferramenta muito poderosa, facilitando a gestão das mudanças do banco, além de ajudar a...
JP
- 1 de nov. de 2021
- 5 min
Criando Alarmes com AWS CloudWatch
A utilização de alarmes é um requisito imprescindível quando se trabalha com diversos recursos na nuvem. É uma das formas mais eficientes...
JP
- 17 de out. de 2021
- 4 min
Configurando S3 Bucket event notification com SQS via Terraform
O S3 (Simple Storage Service) possibilita notificar através de eventos, quando alguma ação ocorre dentro de um Bucket ou em alguma pasta...
JP
- 3 de out. de 2021
- 8 min
Criando Kinesis Firehose via Terraform e enviando eventos com Java
Neste post, vamos fazer um passo a passo de como criar um AWS Kinesis Firehose (Delivery Stream) via Terraform e enviar alguns eventos...
JP
- 18 de set. de 2021
- 5 min
Criando uma Lambda AWS usando Python + Deploy
Neste post, iremos criar uma aplicação Lambda AWS usando Python. Será um passo a passo, desde criar o código fonte, que será bem simples,...
JP
- 5 de set. de 2021
- 2 min
Enviando mensagens para fila SQS via Python + boto3
Tenho experimentado Python e tenho me surpreendido com a facilidade no desenvolvimento e sem muitas configurações de projeto. Para este...
JP
- 25 de jul. de 2021
- 3 min
Entendendo o AWS SNS - Simple Notification Service
O SNS (Simple Notification Service), provê um serviço de notificação utilizando o paradigma Pub/Sub. É uma forma de publicar mensagens...
JP
- 6 de jul. de 2021
- 3 min
Entendendo o Presto
O Presto é uma ferramenta bem conhecido no mundo Big Data, especificamente na área de Engenharia de dados. O Presto funciona como uma SQL...
JP
- 27 de jun. de 2021
- 2 min
Listando tabelas via Glue SDK e Java
Utilizar a SDK da AWS é sempre uma boa opção caso precise explorar algum recurso mais a fundo em busca de uma solução. Neste post, iremos...
JP
- 30 de mai. de 2021
- 3 min
Introdução ao Apache Hive com Spark e Java
O Hive é um software de Data Warehouse que possibilita a leitura, escrita e o gerenciamento de dados distribuídos e permite a utilização...
bottom of page