Data Engineer I managing data engineering functions like modeling, profiling, and ETL using Azure and Databricks. Requires a degree and 2+ years of relevant experience to provide effective data solutions.
About the role
- Lead design and implementation of ETL/ELT pipelines, governance and data infrastructure for healthcare clients. Ensure data quality, scalability and collaboration with BI and Data Science.
Responsibilities
- Projetar e implementar pipelines de ingestão, transformação (ETL / ELT), agregação e disponibilização de dados (batch e streaming).
- Definir arquitetura de dados: data lake, data warehouses, data marts e/ou lakehouse (ex: Delta Lake, Snowflake, BigQuery, Databricks).
- Garantir qualidade e confiabilidade dos dados, com monitoramento, alertas e mecanismos de correção de falhas.
- Implementar governança de dados: catalogação, metadados, lineage, controle de acesso, versionamento.
- Atuar com modelagem de dados (esquemas dimensionais, normalizados e desacoplados) para suportar relatórios e análises.
- Otimizar performance de consultas, particionamento, índices, agregações e armazenamento.
- Trabalhar com equipes de BI e Ciência de Dados para entrega de pipelines adequados aos seus requisitos.
- Auxiliar no escalonamento da infraestrutura de dados (cluster, orquestração, escalabilidade).
- Documentar processos, pipeline e melhores práticas de engenharia de dados.
Requirements
- Experiência de pelo menos 5 a 8 anos em engenharia de dados, com parte significativa em nível sênior.
- Profundo conhecimento de SQL e ferramentas de processamento de dados (Spark, Databricks, Flink etc.).
- Experiência com orquestração de pipelines (Airflow, Prefect, Dagster, etc.).
- Familiaridade com data lakes, lakehouses, DWHs, e arquiteturas modernas de dados.
- Experiência com infraestrutura de dados na nuvem (AWS, GCP, Azure) e componentes como S3, BigQuery, Redshift etc.
- Prática com processos de monitoramento, logging, alertas e tratamento de falhas.
- Inglês fluente.
- Boa comunicação e capacidade de trabalhar em times multifuncionais.
- Formação em Ciência da Computação, Engenharia, Matemática ou área afim.
- Diferenciais: vivência no setor saúde (dados clínicos, interoperabilidade HL7/FHIR); experiência com dados não estruturados; competência em automação e CI/CD de dados; experiência com ferramentas de qualidade de dados (Great Expectations, Deequ); conhecimento em segurança e compliance de dados sensíveis (LGPD, HIPAA).
Job title
Job type
Experience level
Salary
Not specified
Degree requirement
Tech skills
Location requirements
Senior BigQuery Engineer designing high - performance data solutions for Deutsche Bank. Collaborating in agile environment for data quality and cloud migration.
IT Data Engineer passionate about data solutions supporting digital transformation at Sizewell C. Join a collaborative team working on building data pipelines and platforms for a major infrastructure project.
Senior technical leader for domain cluster at Vizient, ensuring engineering excellence and delivery capability across multiple teams.
Cloud & Data Engineer working with large datasets in innovative projects for Marketing Technology team. Focus on cloud platforms and development of scalable systems for digital marketing support.
Data Engineer responsible for building and maintaining data solutions using Microsoft Fabric. Working within a consultancy environment to meet client expectations across various sectors.
Data Engineering Lead at Fetch owning end - to - end data platform for AI, pricing, and operations. Collaborate with teams to enable real - time data - driven decisions and trustworthiness.
Data Engineer responsible for building ELT/ETL pipelines and supporting data governance practices at Daniels Health. Joining a mission - driven company innovating in healthcare waste management across multiple countries.
Data Engineer designing and optimizing Azure - based data platforms for enterprise analytics. Developing scalable data pipelines and enabling insights through Power BI and Azure Synapse Analytics.
Senior Software Engineer focused on ingestion pipeline at Fullstory. Engineering distributed systems for processing data at scale while collaborating with technical leaders.