Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d……
Vous avez déjà pu faire vos armes avant d'arriver chez nous et êtes à l'aise avec l'itinérance. Nous proposons des solutions complètes, clés en main, intégrant……
Implémenter les bonnes pratiques : IAM least privilege, KMS, secrets management, segmentation réseau. TECH (plus de 1 600 professionnels lors du rapprochement)……
Participer à l’administration et à l’évolution de la plateforme Data en lien avec le Data Architect, incluant les aspects infrastructure, cloud et……
CDI – Data Engineer Databricks (AWS) – 3 à 7 ans d’expérience
France
Contexte
Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d?ingestion, de transformation et de fiabilité des données.
Missions
Développement et ingestion de données
? Concevoir et développer des pipelines de données en Python et Spark sur Databricks
? Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake)
? Optimiser les traitements et les performances
Orchestration et qualité des données
? Orchestrer les workflows avec AWS Airflow
? Mettre en place des contrôles qualité et des mécanismes de validation
? Développer des outils de monitoring et de gestion des anomalies
Maintien en condition opérationnelle
? Assurer la disponibilité et la performance des pipelines
? Diagnostiquer et corriger les incidents
? Participer à l?amélioration continue des traitements
Contribution
? Participer aux ateliers techniques et aux échanges avec les équipes
? Documenter les pipelines, architectures et processus
? Contribuer aux bonnes pratiques Data et Big Data