Ingénieur de données senior/Senior Data Engineer

Ingénieur de données senior

Le Centre d’excellence en matière d’activation numérique d’IQVIA recrute un ingénieur de données senior pour travailler à distance partout au Canada. Notre vision ouvre la voie à un engagement client sans précédent, à une narration omnicanal de nouvelle génération, à une suite de mesures intégrée et à une optimisation des campagnes en temps réel, le tout alimenté par un système d'exploitation de bout en bout indépendant de la plate-forme et des données pour un marketing et une analyse intelligents des soins de santé. . En simplifiant les flux de travail qui prenaient auparavant plusieurs jours en quelques secondes et en intégrant des fonctionnalités qui nécessitaient auparavant plusieurs fournisseurs en un seul, nous permettons aux marques de concentrer leur temps et leurs ressources sur l'obtention de résultats concrets.

En tant qu'ingénieur de données senior au sein du Digital Enablement Center of Excellence, vous jouerez un rôle crucial dans la conception, le développement et la maintenance de l'infrastructure et des systèmes requis pour un traitement, un stockage et une analyse efficaces et efficients des données pour nos produits AIM, Email et HCN. . En travaillant au sein d'une équipe Scrum interfonctionnelle, vous collaborerez en étroite collaboration avec d'autres ingénieurs logiciels, scientifiques des données, testeurs de logiciels et propriétaires de produits pour assurer le flux fluide des données dans toute l'organisation, permettant ainsi une prise de décision et des informations basées sur les données. Ce rôle nécessite une solide compréhension de l'architecture des données et des compétences en programmation dans Spark et Scala, ainsi qu'une passion pour travailler avec des ensembles de données volumineux et complexes.

Principales responsabilités:

• Développement Spark : concevez, créez et maintenez des pipelines de données évolutifs et robustes à l'aide d'Apache Spark.
• Développement de pipelines de données : concevoir, mettre en œuvre et optimiser des pipelines de données pour extraire, transformer et charger des données (ETL) provenant de diverses sources dans des systèmes de stockage et de traitement de données. Tirez parti des capacités de traitement des données de Spark pour effectuer des transformations et des agrégations complexes sur de grands ensembles de données.
• Gestion de l'entrepôt de données : développez et gérez des solutions d'entreposage de données à l'aide de Spark et Scala pour garantir la disponibilité, l'intégrité et la sécurité des données. Concevoir et mettre en œuvre des modèles de données, des schémas et des stratégies d'indexation pour prendre en charge une récupération et une analyse efficaces des données.
• Intégration des données : collaborez avec des équipes interfonctionnelles pour intégrer et consolider des données provenant de plusieurs sources, notamment des bases de données, des API et des systèmes externes. Garantissez une intégration transparente des données sur différentes plates-formes et applications à l'aide des connecteurs et des capacités d'intégration de Spark.
• Qualité et gouvernance des données : mettez en œuvre des contrôles de qualité des données et des processus de validation à l'aide de Spark et Scala pour garantir l'exactitude, la cohérence et la fiabilité des données. Établissez et appliquez des normes de gouvernance des données, des protocoles de sécurité des données et des réglementations sur la confidentialité des données.
• Optimisation des performances : identifiez et résolvez les problèmes de performances dans les applications Spark, les pipelines de données et les bases de données. Optimisez les tâches Spark en ajustant les configurations, en tirant parti des mécanismes de mise en cache et en appliquant des techniques d'optimisation.
• Collaboration et communication : collaborez avec des équipes interfonctionnelles, notamment des scientifiques des données et des ingénieurs logiciels, pour comprendre leurs besoins en matière de données et fournir des solutions Spark et Scala appropriées. Communiquer clairement les concepts et solutions techniques complexes aux parties prenantes techniques et non techniques.
• Technologies et tendances émergentes : restez au courant des dernières avancées en matière de Spark, Scala, des technologies Big Data, des plates-formes cloud et des outils de gestion de données. Évaluer et recommander de nouvelles technologies et approches susceptibles d’améliorer les capacités d’ingénierie des données.

Diplômes et compétences :

• Baccalauréat ou maîtrise en informatique, systèmes d'information ou dans un domaine connexe ou expérience équivalente
• Solides compétences en programmation dans Scala et expérience avec Apache Spark.
• Maîtrise de SQL et expérience de travail avec des bases de données relationnelles
• Familiarité avec les technologies Big Data telles que Hadoop, Kafka ou Hive.
• Expérience en modélisation de données, conception de schémas et processus ETL.
• Compréhension des concepts d'entreposage de données et expérience des solutions d'entrepôt de données
• Connaissance des plateformes cloud telles qu'AWS et expérience des services de données basés sur le cloud (par exemple, S3, EMR, Glue).
• Solides compétences en résolution de problèmes et capacité à analyser et à résoudre des problèmes complexes liés aux données.
• Excellentes compétences en communication et en collaboration, avec la capacité de travailler efficacement dans un environnement d'équipe interfonctionnel.
• Souci du détail et engagement fort envers la qualité, la sécurité et la gouvernance des données.

Senior Data Engineer

IQVIA’s Digital Enablement Center of Excellence are hiring for a Senior Data Engineer to work remotely anywhere in Canada. Our vision is paving the way for unparalleled customer engagement, next-generation omnichannel storytelling, an integrated measurement suite and real-time campaign optimization — all powered through an end-to-end data and platform-agnostic operating system for intelligent healthcare marketing and analytics. By simplifying workflows that used to take days into seconds, and integrating functionality that previously required multiple vendors into one, we allow brands to focus their time and resources on driving real-world outcomes.

As a Senior Data Engineer within the Digital Enablement Center of Excellence, you will play a crucial role in designing, developing, and maintaining the infrastructure and systems required for efficient and effective data processing, storage, and analysis for our AIM, Email and HCN products. Working as part of a cross-functional scrum team, you will collaborate closely with other software engineers, data scientists, software testers and product owners to ensure the smooth flow of data across the organization, enabling data-driven decision-making and insights. This role requires a strong understanding of data architecture and programming skills in Spark and Scala, along with a passion for working with large and complex datasets.

Key Responsibilities:

• Spark Development: Design, build, and maintain scalable and robust data pipelines using Apache Spark.
• Data Pipeline Development: Design, implement, and optimize data pipelines to extract, transform, and load (ETL) data from various sources into data storage and processing systems. Leverage Spark's data processing capabilities to perform complex transformations and aggregations on large datasets.
• Data Warehouse Management: Develop and manage data warehousing solutions using Spark and Scala to ensure the availability, integrity, and security of data. Design and implement data models, schemas, and indexing strategies to support efficient data retrieval and analytics.
• Data Integration: Collaborate with cross-functional teams to integrate and consolidate data from multiple sources, including databases, APIs, and external systems. Ensure seamless data integration across different platforms and applications using Spark's connectors and integration capabilities.
• Data Quality and Governance: Implement data quality checks and validation processes using Spark and Scala to ensure data accuracy, consistency, and reliability. Establish and enforce data governance standards, data security protocols, and data privacy regulations.
• Performance Optimization: Identify and resolve performance issues in Spark applications, data pipelines, and databases. Optimize Spark jobs by fine-tuning configurations, leveraging caching mechanisms, and applying optimization techniques.
• Collaboration and Communication: Collaborate with cross-functional teams, including data scientists, and software engineers, to understand their data requirements and provide appropriate Spark and Scala solutions. Clearly communicate complex technical concepts and solutions to both technical and non-technical stakeholders.
• Emerging Technologies and Trends: Stay up-to-date with the latest advancements in Spark, Scala, big data technologies, cloud platforms, and data management tools. Evaluate and recommend new technologies and approaches that can enhance data engineering capabilities.

Qualifications and Skills:

• Bachelor's or Master's degree in Computer Science, Information Systems, or a related field or equivalent experience
• Strong programming skills in Scala and experience with Apache Spark.
• Proficiency in SQL and experience working with relational databases
• Familiarity with big data technologies such as Hadoop, Kafka, or Hive.
• Experience with data modeling, schema design, and ETL processes.
• Understanding of data warehousing concepts and experience with data warehouse solutions
• Knowledge of cloud platforms such as AWS and experience with cloud-based data services (e.g., S3, EMR, Glue).
• Strong problem-solving skills and ability to analyze and troubleshoot complex data-related issues.
• Excellent communication and collaboration skills, with the ability to work effectively in a cross-functional team environment.
• Attention to detail and a strong commitment to data quality, security, and governance.