Lead Data Engineer Azure Databricks

Job description

• Participer au cadrage technique du projet et à l’analyse des sources de données. • Réaliser le Data Mapping entre les données Apollo en couche Silver et les données commerciales existantes en couche Platinum. • Concevoir les règles de transformation et de jointure des données. • Développer les pipelines de transformation sous Databricks / Microsoft Fabric. • Développer les scripts PySpark et SQL nécessaires à la création des tables Platinum Merchandising. • Croiser les données spatio-temporelles Apollo avec les faits de ventes, stocks et démarque. • Mettre en place les modèles de données nécessaires aux analyses Merchandising. • Garantir la qualité, la cohérence et la fiabilité des données produites. • Participer aux tests techniques et à la validation des transformations. • Collaborer avec le Business Analyst et le Data Analyst Power BI pour assurer l’adéquation entre les données produites et les besoins décisionnels. • Contribuer à la documentation technique et au transfert de connaissances. Profil • Plus de 5 ans d’expérience en Data Engineering. • Maîtrise d’Azure Databricks. • Maîtrise de PySpark et SQL. • Expérience sur Microsoft Fabric. • Bonne maîtrise des architectures Data Lake / Lakehouse et des couches de données. • Expérience en modélisation décisionnelle complexe. • Maîtrise des jointures et transformations de données spatio-temporelles. • Expérience dans la construction de pipelines de données et de tables analytiques. • Bonne compréhension des enjeux de qualité, de performance et de fiabilité des données. • Une expérience dans le Retail / Grande Distribution constitue un atout.