Pipeline ELT serverless na AWS para detecção automatizada de fraudes em transações financeiras — Terraform IaC, Parquet, Athena e regras de negócio customizáveis.
Arquitetura ELT
Abordagem ELT serverless com dados segregados em camadas Raw e Processed, particionamento por data e query engine SQL sem servidor.
Tecnologias
Ferramentas escolhidas pelo equilíbrio entre custo serverless, performance analítica e automação de infraestrutura como código.
Detecção de Fraudes
O ETL aplica regras customizáveis com base em valor da transação e geolocalização — extensível para ML em iterações futuras.
Transações superiores a R$ 5.000 são sinalizadas como suspeitas e roteadas para revisão. Capturou 189 alertas na sessão atual.
Estados com padrão histórico de fraude recebem sinalização automática. Capturou 123 alertas. Regra facilmente extensível.
JSON → Parquet com particionamento por data e flag de fraude, reduzindo custo de queries no Athena em até 73%.
Queries SQL serverless diretamente no Data Lake. Sem cluster fixo — paga apenas pelas queries executadas.
Aprendizados
Competências técnicas consolidadas durante a construção do pipeline end-to-end em ambiente AWS real.
Como executar
AWS CLI configurado, Terraform e Python instalados — o restante é automatizado pela infraestrutura como código.
# Entrar na pasta terraform cd terraform && terraform init terraform apply -auto-approve # ✓ 2 Buckets S3 · Glue Database · Políticas IAM
pip install -r requirements.txt
# ✓ boto3 · pandas · pyarrow · faker
python src/producer/main.py # Deixe executar por alguns segundos # Ctrl+C para pausar # ✓ JSONs de transações salvos no S3 Raw
python src/processing/fraud_detector.py # ✓ Fraudes detectadas · Parquet no S3 # No console Amazon Athena: SELECT * FROM fraud_detection_db.fraudes_detectadas;
Serverless · IaC · Open Source
Pipeline completo com IaC, regras de detecção customizáveis e queries analíticas prontas para produção.