Staff Data Engineer at Qualifinds building AI - driven valuation tools and leading data ingestion development for art and collectibles management.
About the role
- Senior Data Engineer designing healthcare data pipelines, governance and cloud infrastructure. Leads ETL/ELT, monitoring, modeling and cross-team delivery.
Responsibilities
- Projetar e implementar pipelines de ingestão, transformação (ETL / ELT), agregação e disponibilização de dados (batch e streaming).
- Definir arquitetura de dados: data lake, data warehouses, data marts e/ou lakehouse (ex: Delta Lake, Snowflake, BigQuery, Databricks).
- Garantir qualidade e confiabilidade dos dados, com monitoramento, alertas e mecanismos de correção de falhas.
- Implementar governança de dados: catalogação, metadados, lineage, controle de acesso, versionamento.
- Atuar com modelagem de dados (esquemas dimensionais, normalizados e desacoplados) para suportar relatórios e análises.
- Otimizar performance de consultas, particionamento, índices, agregações e armazenamento.
- Trabalhar com equipes de BI e Ciência de Dados para entrega de pipelines adequados aos seus requisitos.
- Auxiliar no escalonamento da infraestrutura de dados (cluster, orquestração, escalabilidade).
- Documentar processos, pipeline e melhores práticas de engenharia de dados.
Requirements
- Experiência de pelo menos 5 a 8 anos em engenharia de dados, com parte significativa em nível sênior.
- Profundo conhecimento de SQL e ferramentas de processamento de dados (Spark, Databricks, Flink etc.).
- Experiência com orquestração de pipelines (Airflow, Prefect, Dagster, etc.).
- Familiaridade com data lakes, lakehouses, DWHs, e arquiteturas modernas de dados.
- Experiência com infraestrutura de dados na nuvem (AWS, GCP, Azure) e componentes como S3, BigQuery, Redshift etc.
- Prática com processos de monitoramento, logging, alertas e tratamento de falhas.
- Inglês fluente.
- Boa comunicação e capacidade de trabalhar em times multifuncionais.
- Formação em Ciência da Computação, Engenharia, Matemática ou área afim.
- Regime de contratação: Pessoa Jurídica (PJ).
- Nível de experiência: Sênior / Especialista.
Job title
Job type
Experience level
Salary
Not specified
Degree requirement
Tech skills
Location requirements
Senior Data Engineer designing secure and scalable data systems for maritime and defense applications. Seeking experienced professional with strong expertise in AWS and Azure environments.
Senior Data Engineer role at AI & Data Engineering focused on Databricks engineering.
Senior Data Engineer at Yü Group responsible for leading data engineering team and optimizing data solutions within the energy sector.
Data Engineer managing payment processing and data accuracy while collaborating with financial teams. Building and optimizing data pipelines for transactional data in a hybrid work environment.
Data Engineer building analytical tools for Dry Bulk market data operations at Kpler. Join a team of over 700 experts transforming data into actionable strategies.
Data Engineer developing tools for maintaining data integrity in cargo tracking at Kpler. Collaborating with analysts and engineers to enhance data quality management.
Lead Azure Data Engineer designing and optimizing data ecosystems on Microsoft Cloud. Responsible for building scalable data platforms and pipelines for analytics and reporting.
Data Engineer providing support for IBM DataStage ETL jobs at Callibrity. Collaborating with stakeholders and working to modernize technology solutions in a hybrid work environment.
Cloud Data Engineer implementing tailored solutions for Volkswagen Group data processing. Building ETL/ELT pipelines while collaborating with technical experts.