Ouvre LinkedIn
- Type d’emploi
- Contrat
- Niveau d’expérience
- Expérimenté · 5+ ans
- Langue de l’offre
- français
- Heures de travail
- 40 heures par semaine
- Niveau d’expérience
- Associate
- Mode de candidature
- La candidature directe est offerte
Résumé du poste
Design, develop, and maintain batch and real-time data pipelines, and build, optimize, and administer solutions on Azure Databricks. Support data ingestion and transformation, uphold architecture and governance standards, collaborate with analytics, data science, and business teams, resolve platform incidents, and contribute to Agile planning and continuous improvement.
Détails du poste
Ingénieur de données Databricks Durée: 6-12 mois renouvelable Lieu: mode hybride centre-ville de Montréal Contexte: C'est pour joindre l'équipe Plateformes et outils de données dans le cadre d'une réorganisation ayant mené à la création de nouvelles squads (Marketing et RH). Le rôle est orienté à environ 60-65 % projets et 35-40 % opérations, avec une forte composante de développement et d'administration de la plateforme Azure Databricks. Responsabilités Concevoir, développer et maintenir des pipelines de données batch et temps réel. Mettre en place et optimiser les solutions sur Azure Databricks. Participer à l'ingestion, la transformation et la préparation des données provenant de multiples sources. Développer des solutions conformes aux standards d'architecture et de gouvernance des données. Collaborer avec les équipes d'analytique, de science des données et les parties prenantes d'affaires. Diagnostiquer et résoudre les incidents liés aux pipelines et aux plateformes de données. Participer aux cérémonies Agile, à l'estimation des user stories et à l'amélioration continue des pratiques d'ingénierie de données. Compétences requises Eexpérience comme Ingénieur de données. 4+ ans d'expérience Databricks à titre de configurateur, développeur ou administrateur Maîtrise obligatoire de: Delta Lake, Unity Catalog, Workspaces, Lakeflow, Databricks Asset Bundles Solide expérience avec Python, PySpark et Spark. Expérience avec Azure Data Factory (ADF) et Azure Data Lake. Maîtrise de SQL et des bases de données relationnelles. Expérience en modélisation de données et architecture Medallion. Connaissance des Slowly Changing Dimensions (SCD). Expérience avec Azure DevOps, Git et pipelines CI/CD.
Ce que vous ferez
Design, develop, and maintain batch and real-time data pipelines, and build, optimize, and administer solutions on Azure Databricks. Support data ingestion and transformation, uphold architecture and governance standards, collaborate with analytics, data science, and business teams, resolve platform incidents, and contribute to Agile planning and continuous improvement.
Exigences
Requires data engineering experience, including at least four years configuring, developing, or administering Databricks. Candidates must be proficient in Delta Lake, Unity Catalog, Workspaces, Lakeflow, Databricks Asset Bundles, Python, PySpark, Spark, SQL, and Azure data services, with experience in data modeling, Medallion architecture, SCD, Git, and CI/CD pipelines.
Compétences indiquées
- SQL · Souhaitée
- Python · Souhaitée
Autres compétences pertinentes
Relevées dans la description du poste. Confirmez les exigences importantes ci-dessus.
- Databricks
- Delta Lake
- Unity Catalog
- Databricks Workspaces
- Lakeflow
- Databricks Asset Bundles
- Python
- PySpark
- Apache Spark
- Azure Data Factory
- Azure Data Lake
- SQL
- Data Modeling
- Medallion Architecture
- Slowly Changing Dimensions
- Azure DevOps
Domaines d’emploi
- Data & Analytics
- Technology
- Software