Hybrid Mid-Senior Data Engineer – Azure, Databricks

at CI&T

• Job title: Mid-Senior Data Engineer – Azure, Databricks
• Job type: Full Time
• Experience level: Senior
• Salary: Not specified
• Degree requirement: Bachelor's Degree
• Tech skills: Azure, Cloud, ETL, Oracle, Pandas, PySpark, Python, Spark, SQL
• Location requirements: Hybrid, Brazil

About the role

• Data Engineer focusing on Azure and Databricks to design and maintain a robust data platform. Collaborating with teams for efficient data architecture and governance practices.

Responsibilities

• Desenhar, desenvolver e manter a espinha dorsal da nossa plataforma de dados, garantindo que nossas informações sejam robustas, confiáveis e prontas para o consumo analítico e estratégico.
• Arquitetura de Dados (Medallion): Projetar, implementar e manter pipelines de dados escaláveis e eficientes, gerenciando todo o ciclo de vida dos dados através das camadas Bronze, Silver e Gold na plataforma Databricks.
• Desenvolvimento e Otimização de Pipelines: Construir e gerenciar fluxos de ETL/ELT complexos utilizando Azure Databricks (PySpark/SQL) e Azure Data Factory, garantindo a ingestão, transformação e armazenamento robusto dos dados.
• Eficiência com IA no Desenvolvimento: Otimizar ativamente o ciclo de desenvolvimento e a performance dos pipelines, aplicando ferramentas de IA generativa e assistentes de código (ex: Databricks Assistant, GitHub Copilot) para acelerar a entrega e melhorar a qualidade do código.
• Gerenciamento do Data Lakehouse: Garantir a integridade, consistência e performance do nosso Data Lakehouse, utilizando Delta Lake como camada de armazenamento principal (ACID transactions, schema enforcement, time travel).
• Modelagem de Dados: Colaborar com analistas e áreas de negócio para desenhar e implementar modelos multidimensionais e agregados (camada Gold), otimizados para consumo de BI e análises avançadas.
• Integração de Sistemas: Construir e implementar APIs para facilitar a comunicação, ingestão e consumo de dados, garantindo a troca eficiente de informações entre sistemas (ex: Oracle, SQL Server, fontes externas).
• Colaboração e Governança: Trabalhar de forma colaborativa com equipes multifuncionais (BI, Data Science, Negócios) e aplicar as melhores práticas de engenharia e governança de dados.

Requirements

• Experiência Sólida: Experiência como Engenheiro de Dados, com foco principal no ecossistema Azure Cloud.
• Expertise em Databricks: Conhecimento profundo em Azure Databricks, incluindo Spark, PySpark, Spark SQL e otimização de clusters.
• Orquestração de Dados: Forte conhecimento em Azure Data Factory (ADF) para criação e gerenciamento de pipelines.
• Linguagens: Domínio avançado em SQL e Python (voltado para engenharia de dados, ex: Pandas, PySpark).
• Conceitos Fundamentais: Excelente compreensão dos fluxos de ETL/ELT, arquitetura Medallão (Medallion Architecture) e dos fundamentos do Delta Lake.
• Modelagem de Dados: Experiência com técnicas de modelagem de dados (dimensional, relacional) e familiaridade com ferramentas como Erwin ou similares.
• Bancos de Dados: Conhecimento prático em bancos de dados relacionais, como Oracle e SQL Server.

Benefits

• Plano de saúde e odontológico;
• Vale alimentação e refeição;
• Auxílio-creche;
• Licença parental estendida;
• Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass)  TotalPass;
• Participação nos Lucros e Resultados (PLR);
• Seguro de Vida;
• Plataforma de aprendizagem contínua (CI&T University);
• Clube de descontos;
• Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
• Curso gestante e parentalidade responsável;
• Parceria com plataformas de cursos online;
• Plataforma para aprendizagem de idiomas;
• E muitos outros