Senior Data Engineer – Ingénieur des données

Job summary

Lead client data engineering consulting engagements and define, maintain, and improve modern real-time Lakehouse platform architecture across Azure, AWS, and GCP. Build and coach the data engineering team, support AI presales, coordinate implementation and monitoring of data assets, and contribute to the company’s technical content and industry presence.

Job details

Data Engineer – Data & Analytics Group About KPI KPI Digital helps clients reach their business objectives by identifying required capabilities and by providing the proper data and analytics strategy and foundation allowing handling of all data challenges including enterprise-wide AI scaling. We specialize in Data & Analytics from Strategy, Architecture, Governance, Modern D&A Platform, MDM and the entire D&A Value Chain (Data Ingestion, Data Pipelines, Lakehouse, AI Modeling, DO/OR, BI, Deployment and Monitoring. Performance Management and Digital Experience are two additional practices that complement the D&A practice. In addition, to the Consulting Services, we offer Managed Services, Education and Training. Want to join a winning team? The Role We are looking for a Data Engineer that combines Data Engineering, platform architecture and management expertise. The Data Engineer will: Provide consulting services to our customers as the KPI Digital Lead Data Engineer Define and maintain the KPI Digital Modern D&A Platform Architecture. This D&A Platform Architecture must: Support real-time LakeHouse Architecture on Azure, AWS and GCP Data feeds from business applications and sensors, IoT, PLC, Scada Any type of workload from API on Insights, BI, AI ML/DL, NLP, DO/OR, Execution of ML models in real-time, batches, micro-batches or on edge Data Ingestion in batch, micro-batches and streaming Real-time dashboard Respect highest security standards Scalable, elastic and performant Maintain AND Improve Accelerators to speed up the creation of Data Pipelines on major cloud providers Participate and support the AI Pre-Sales activities Build a Data Engineering team to meet the expected customers growth Create Data Engineering content (articles, white papers and so on) Speak in conferences, webinars to promote KPI Digital brand The Ideal Candidate Is Goal oriented and possesses strong decision-making and problem-solving skills Able to build a team of diverse talents to meet the customers expectations. This implies being quite involved in the recruiting and the active management of all Data Engineers (coaching, guiding, evaluating, setting objectives, reviews and so on) Expected to work in close collaboration with the AI Team Lead, the Data Governance Lead and the VP of D&A A team lead, which means he/she not only assists his/her team, but the candidate is also responsible to bring his/her team to higher level of expertise Able to devise training programs around the consulting mandates for his/her team to grow Communicates and explains the plan, templates, approaches to his/her team and other teams so that he/she does not end-up being a bottleneck Can communicate clearly in both languages (French and English) going technical when appropriate and is able to elevate the vocabulary for less technical folks such as clients, other team members, PM and so on Excellent written and verbal communication skills for coordinating across teams (French and English) Ability to discern fundamental and key aspects worth ‘fighting for’ versus the less ‘important’ ones. The ideal candidate is ‘street smart’ Work with our customers’ stakeholders to identify opportunities for leveraging their existing D&A platform toward a modern real-time LakeHouse Coordinate with different functional teams to implement all D&A assets with proper monitoring Keep up to date with various modern D&A platform services and trends Specific Skills Has implemented Lambda Architecture (may also have implemented KAPPA). And could create templates for a team of Data Engineers Understands and did implement how to move data from Event Hub (or similar) to a raw zone, then an integrated zone and then to a consumption zone with replication to a Serving Layer with database like Synapse, Snowflake, BigQuery or Redshift (micro batches and streaming even in the cold layer) Has been implementing the main 3 types of slowly changing dimensions in this technology or older ones Has Data Engineering using DataVault Has used Delta Lake Knows how to stream data in the Data Lake using Databricks Is very solid with Spark (to deal with Big Data situations) and can tune the environment using multiple nodes, is able to partition ‘DB’ and understand replicating the dimensions on multiple nodes Can optimize the use of Azure resources to optimize costs and usage Has some Azure administrator and cloud architecture experience Can define the access rights management solution Is an adept of CI-CD and can implement Azure DevOps Can define real-time and batch orchestration Has used these software (and implemented best practices for their usage): Chef, Jenkins, Terraform, Confluence, GIT, SVN, GitHub, Terraform, BitBucket, Jira Has the title implied, the candidate is a data engineer meaning he is a full fledge experienced developer very solid in both Python and Spark Databricks is also a requirement, but if the candidate has all above requirements, the learning curve to absorb Databricks should be easy. Same comments for ADF Has used noSQL technologies and Azure Data Lake Store (gen 2) Understand asynchronous architecture using ‘queue mechanisms’ such as Event Hub/Kakfa Learns and masters new technologies and techniques rapidly and continuously (with proper balance with consulting mandates) Able to understand rapidly the patterns and directions taken by the D&A Practice Lead Able to zero-in on ambiguous concepts and made them crystal clear rapidly Pragmatic (consider constraints) but not to the expense of faulty designs/concepts He/She must be comfortable working with a wide range of stakeholders and functional teams Excellent written and verbal communication skills for coordinating across teams A drive to learn and master new technologies and techniques. We’re looking for someone with 15 years of ETL/ELT and Data Pipelines experience and 7 years as a solution architect Minimum of 5 years in Senior Management role Experience working with data architecture Experience with ADLS gen 2, S3, Spark, Databricks, Synapse Analytics, Snowflake, PowerBI, Experience with AWS stack: Kinesis Data/Stream/Firehose, S3, Lake Formation, RedShift, Tableau, … What will make you successful here? A desire to be accountable for owning problems from design to implementation A bias for action and pragmatic solutions A low ego and humility; an ability to gain trust through effective communication and doing what you say you will do A talent for operating effectively at various levels of abstraction An aptness to distill complex, technical topics articulately to a non-technical audience Adaptability, flexibility, and an ability to navigate ambiguity Benefits The opportunity to join and grow an ever-expanding professional network of high-profile clients and reputable colleagues. Permanent, full-time job (40 hours a week) Flexible schedule Hybrid (work from home and/or office) Competitive salary Attractive group insurance plan Retirement savings plan Small company culture Free use of gym within building Casual work environment: jeans-friendly! Ingénieur en chef des données – Groupe des données et des analyses À Propos Des IRC KPI Digital aide les clients à atteindre leurs objectifs d’affaires en identifiant les capacités requises et en fournissant la bonne stratégie de données et d’analyse et les bases permettant de gérer tous les défis liés aux données, y compris la mise à l’échelle de l’IA à l’échelle de l’entreprise. Nous nous spécialisons dans les données et les analyses de la stratégie, de l’architecture, de la gouvernance, de la plateforme de D et A moderne, de GMD et de l’ensemble de la chaîne de valeur de D et A (ingestion de données, pipelines de données, Lakehouse, modélisation de l’IA, DO/OR, BI, déploiement et surveillance. La gestion du rendement et l’expérience numérique sont deux pratiques supplémentaires qui complètent la pratique de DA. En plus des services de conseil, nous offrons des services gérés, de l’éducation et de la formation. Vous voulez vous joindre à une équipe gagnante? Le Rôle Nous sommes à la recherche d’un ingénieur principal des données qui combine l’ingénierie des données, l’architecture des plateformes et l’expertise en gestion. L’ingénieur principal des données : Fournir des services de conseil à nos clients en tant qu’ingénieur responsable des données numériques KPI Définir Et Tenir à Jour L’architecture De Plateforme D&A Numérique Moderne KPI. Cette Architecture De Plateforme D&A Doit Prise en charge de l’architecture LakeHouse en temps réel sur Azure, AWS et GCP Flux de données provenant d’applications et de capteurs commerciaux, IoT, PLC, Scada Tout type de charge de travail à partir de l’API sur Insights, BI, AI ML/DL, NLP, DO/OR, Exécution de modèles ML en temps réel, lots, micro-lots ou sur le bord Ingestion de données en lots, micro-lots et en flux Tableau de bord en temps réel Respecter les normes de sécurité les plus élevées Évolutif, élastique et performant Maintenir ET améliorer les accélérateurs pour accélérer la création de pipelines de données sur les principaux fournisseurs de services infonuagiques Participer et soutenir les activités de prévente sur l’intelligence artificielle Constituer une équipe d’ingénierie des données pour répondre à la croissance attendue des clients Créer du contenu sur l’ingénierie des données (articles, livres blancs, etc.) Prendre la parole lors de conférences et de webinaires visant à promouvoir la marque numérique KPI Le Candidat Idéal Est Orientation objectifs et solides compétences en matière de prise de décision et de résolution de problèmes Capacité à constituer une équipe de talents diversifiés pour répondre aux attentes des clients. Cela suppose d’être très impliqué dans le recrutement et la gestion active de tous les ingénieurs en données (encadrement, orientation, évaluation, établissement d’objectifs, examens, etc.) Travailler en étroite collaboration avec le responsable de l’équipe IA, le responsable de la gouvernance des données et le vice-président, D&A Un chef d’équipe, ce qui signifie qu’il/elle assiste non seulement son équipe, mais aussi le candidat/la candidate, et qu’il/elle doit amener son équipe à un niveau d’expertise plus élevé Capacité à concevoir des programmes de formation autour des mandats de conseil pour permettre à son équipe de se développer Communiquer et expliquer le plan, les modèles et les approches à son équipe et aux autres équipes afin qu’il ne devienne pas un goulot d’étranglement Capacité à communiquer clairement dans les deux langues (français et anglais) et à devenir technique, le cas échéant, et capacité à améliorer le vocabulaire pour les personnes moins techniques, comme les clients, les autres membres de l’équipe, les gestionnaires de projet et ainsi de suite Excellentes compétences de communication écrite et verbale pour la coordination entre les équipes (français et anglais) Capacité de discerner les aspects fondamentaux et clés pour lesquels il faut « se battre » par rapport aux aspects moins « importants ». Le candidat idéal est « intelligent dans la rue ». Collaborer avec les parties prenantes de nos clients pour identifier les opportunités de mise à profit de leur plate-forme D&A existante vers un LakeHouse en temps réel moderne Collaborer avec les différentes équipes fonctionnelles afin de mettre en œuvre l’ensemble des actifs D&A avec un suivi approprié Se tenir au courant des différents services et tendances des plateformes D&A modernes Compétences Particulières A mis en œuvre l’architecture Lambda (peut-être aussi KAPPA), et pourrait créer des modèles pour une équipe d’ingénieurs en données Comprend et a mis en œuvre la façon de déplacer les données du carrefour d’événements (ou d’un site semblable) vers une zone brute, puis une zone intégrée, puis vers une zone de consommation avec réplication à une couche de service avec une base de données comme Synapse, Snowflake, BigQuery ou Redshift (micro-lots et flux même dans la couche froide) A mis en œuvre les trois principaux types de dimensions qui changent lentement dans cette technologie ou les plus anciennes. L’équipe Ingénierie des données utilise DataVault A utilisé le lac Delta Sait comment transmettre des données dans le lac de données à l’aide de Databricks Est très solide avec Spark (pour gérer les situations de mégadonnées) et peut régler l’environnement à l’aide de plusieurs nœuds, est capable de cloisonner la base de données et de comprendre la réplication des dimensions sur plusieurs nœuds Peut optimiser l’utilisation des ressources Azure pour optimiser les coûts et l’utilisation Expérience de l’administration Azure et de l’architecture cloud Peut définir la solution de gestion des droits d’accès Est un adepte de CI-CD et peut mettre en œuvre Azure DevOps Capacité à définir l’orchestration en temps réel et par lots A utilisé ces logiciels (et mis en œuvre des pratiques exemplaires pour leur utilisation) : Chef, Jenkins, Terraform, Confluence, GIT, SVN, GitHub, Terraform, BitBucket, Jira Le titre est implicite, le candidat est un ingénieur en données, ce qui signifie qu’il est un développeur expérimenté à part entière très solide en Python et en Spark Les briques de données sont également une exigence, mais si le candidat a toutes les exigences ci-dessus, la courbe d’apprentissage pour absorber les briques de données devrait être facile. Mêmes commentaires pour le FAD A utilisé les technologies noSQL et Azure Data Lake Store (deuxième génération) Comprendre l’architecture asynchrone à l’aide de « mécanismes de file d’attente » tels que Event Hub/Kakfa Apprend et maîtrise les nouvelles technologies et techniques rapidement et en permanence (avec un bon équilibre avec les mandats de consultation) Capacité à comprendre rapidement les tendances et les directives du responsable de la pratique D&A Capacité à cibler des concepts ambigus et à les clarifier rapidement Pragmatique (tenir compte des contraintes), mais pas au détriment de conceptions ou de concepts défectueux Il/Elle doit être à l’aise de travailler avec un large éventail de parties prenantes et d’équipes fonctionnelles Excellentes compétences de communication écrite et verbale pour la coordination entre les équipes Volonté d’apprendre et de maîtriser les nouvelles technologies et techniques. Nous sommes à la recherche d’une personne ayant 15 ans d’expérience en matière d’ETC/ELT et de pipelines de données et 7 ans à titre d’architecte de solutions. Au moins 5 ans à un poste de direction Expérience de l’architecture de données Expérience des systèmes ADLS gen 2, S3, Spark, Databricks, Synapse Analytics, Snowflake, PowerBI Expérience de la pile AWS : Kinesis Data/Stream/Firehose, S3, Lake Formation, RedShift, Tableau, … Qu’est-ce qui vous fera réussir ici ? Le désir d’être responsable des problèmes, de la conception à la mise en œuvre Préférence pour l’action et les solutions pragmatiques Faible ego et humilité; capacité de gagner la confiance par une communication efficace et de faire ce que vous dites que vous ferez Capacité à travailler efficacement à différents niveaux d’abstraction Aptitude à traiter des sujets techniques complexes de façon articulée avec un public non technique Capacité d’adaptation, souplesse et capacité à composer avec les ambiguïtés Avantages L’occasion de rejoindre et de développer un réseau professionnel en constante expansion de clients de premier plan et de collègues réputés. Emploi permanent à temps plein (40 heures par semaine) Horaire flexible Hybride (travail à domicile ou au bureau) Salaire concurrentiel Assurance collective attrayante Plan d’épargne-retraite Culture des petites entreprises Utilisation gratuite du gymnase dans l’immeuble Environnement de travail décontracté : sans jeans!

What you’ll do

Lead client data engineering consulting engagements and define, maintain, and improve modern real-time Lakehouse platform architecture across Azure, AWS, and GCP. Build and coach the data engineering team, support AI presales, coordinate implementation and monitoring of data assets, and contribute to the company’s technical content and industry presence.

Requirements

The role calls for 15 years of ETL/ELT and data pipeline experience, seven years as a solution architect, and at least five years in senior management, along with strong data architecture and hands-on development expertise. Candidates should have experience with Python, Spark, Databricks, cloud data platforms and services, streaming and orchestration, CI/CD, and bilingual English and French communication.

Benefits

• Flexible Schedule • Hybrid Work • Competitive Salary • Group Health Insurance • Retirement Savings Plan • Free Gym Access • Casual Work Environment

Listed skills

• Microsoft Azure · Preferred
• Amazon Web Services · Preferred
• Team Leadership · Preferred
• Python · Preferred

Other relevant skills

Identified from the job description. Confirm important requirements above.

• Data Engineering
• Data Architecture
• Python
• Apache Spark
• Databricks
• Azure
• AWS
• Google Cloud Platform
• Data Pipelines
• ETL/ELT
• Real-Time Streaming
• Lakehouse Architecture
• Data Vault
• Delta Lake
• Azure DevOps
• Team Leadership

Job areas

• Data & Analytics
• Technology
• Engineering
• Management & Leadership
• Consulting