Senior Data Engineer (AWS/Python) to build lakehouse pipelines and revenue data products
S.i. Systems
Montreal
Compétences recherchées — Connectez-vous et téléversez votre CV pour comparer avec votre profil
Détails du poste
- Lieu de travail : Montreal
- Type de poste : Permanent à temps plein
Description du poste
Job Title : Senior Data Engineer (AWS/Python) pour construire des pipelines lakehouse pour les produits de données clients et revenus de l’industrie aérienne
Aperçu : Notre client recherche des Senior Data Engineers afin de concevoir et mettre en œuvre des pipelines de données de niveau production dans AWS lakehouse prenant en charge les initiatives Customer, Revenue et Operations °.
Responsabilités
- Construire des pipelines d’ingestion de données évolutifs à partir de sources externes
- Mettre en œuvre des modèles CDC pour l’intégration des systèmes opérationnels
- Développer des transformations PySpark pour les produits Customer et Revenue
- Optimiser les charges de travail Redshift/Matillion existantes
- Créer une surveillance automatisée de la qualité des données et la gestion des alertes
- Assurer le déploiement de la production des revenus
Exigences
- 7+ ans de création de pipelines de données de niveau production dans des environnements cloud
- Maîtrise Python et SQL pour la transformation des données
- Expérience pratique avec AWS Glue, EMR, Lambda et Step Functions
- Solide expérience en Spark/PySpark pour le traitement de données à grande échelle
- Expérience de création de pipelines CDC et d’ingestion de données en temps réel
- Réussites démontrées en matière de livraison de produits de données, de l’ingestion à la consommation
Atouts
- Expérience dans l’industrie aérienne avec la réservation, les revenus ou les données opérationnelles
- Infrastructure en tant que code (Terraform/CloudFormation)
- Expérience avec des plateformes de streaming (Kafka, Kinesis)
