Manager of Data Engineering leading data assets and infrastructure initiatives at CLA. Collaborating with teams to enforce data quality standards and drive integration efforts.
About the role
- Senior Data Engineer at Matrix, focusing on data pipeline development and optimization for the energy market. Collaborating on scalable solutions for data processing and analytics.
Responsibilities
- Desenvolver e otimizar Pipelines de Dados (Batch) performáticos e escaláveis para ingestão de dados estruturados, semi-estruturados e não estruturados ao nosso Data Lake (GCS);
- Desenvolver e gerenciar cargas de ETL/ELT para processamento de dados em Spark/SQL para alimentar as camadas Trusted (Silver) e Refined (Gold) em nosso Data Warehouse (BigQuery);
- Atuar na consolidação e modelagem de dados de fontes internas e externas a fim de viabilizar iniciativas de Analytics, Business Intelligence, Data Science, GenAI e Produtos de Dados;
- Desenvolver integrações de dados online (Streaming) para ingestão e processamento de dados na GCP;
- Projetar e implementar arquiteturas de dados eficientes, otimizando tempo de desenvolvimento, performance e custo computacional;
- Replicar regras de negócio no processo de transformação de dados para a geração de datasets;
- Criar e manter processos de Data Quality, Data Assurance, Linhagem e Versionamento de Dados;
- Ser a Referência Técnica do Time de Data & Analytics da Matrix Energia, suportando as iniciativas mais inovadoras e ousadas do nosso cotidiano.
Requirements
- Graduação em cursos de Computação, Sistemas, Tecnologia, Dados ou áreas afins;
- Sólida experiência nas linguagens Python, Spark/SQL;
- Experiência em CI/CD, preferencialmente em GitHub;
- Experiência em Google Cloud Platform (GCP), Google Cloud Storage (GCS) e Google BigQuery;
- Experiência com ferramentas de orquestração de dados tais como Airflow ou Prefect;
- Experiência com tecnologias de data streaming tais como Pub/Sub ou Azure Functions;
- Conhecimento sobre Modelagem de Dados na metodologia Medallion.
Benefits
- Saúde de qualidade com a Omint: tenha acesso a uma rede de saúde e odontológica de primeira linha através da Omint com cobertura nacional.
- Cartão Alelo Pod para seus gastos flexíveis com o Vale Refeição e Alimentação, sendo aceito nas principais redes de restaurantes e supermercados.
- Nossa jornada de trabalho tem carga horária flexível e sustentável.
- Mobilidade: você pode escolher uma modalidade que faz sentido para você! Vale Transporte, auxílio combustível ou estacionamento.
- Total Pass: plataforma online dedicada à promoção da qualidade de vida, saúde e bem-estar. Planos que proporcionam acesso a academias, estúdios e serviços online, com descontos exclusivos da Matrix, abrangendo não apenas você, mas também até 3 dependentes.
- Seguro de vida em grupo.
- Participação nos Lucros e Resultados (PLR), mediante atingimento de metas e performance.
- Trabalhar com uma equipe fantástica em um ambiente colaborativo que busca construir um futuro brilhante e mais sustentável.
Job title
Job type
Experience level
Salary
Not specified
Degree requirement
Tech skills
Location requirements
Data Engineer building modern Data Lake architecture on AWS and implementing scalable ETL/ELT pipelines. Collaborating across teams for analytics and reporting on gaming platforms.
Chief Data Engineer leading Scania’s Commercial Data Engineering team for growing sustainable transport solutions. Focused on data products and pipelines for BI, analytics, and AI.
Data Engineer designing and building scalable ETL/ELT pipelines for enterprise - grade analytics solutions. Collaborating with product teams to deliver high - quality, secure, and discoverable data.
Entry - Level Data Engineer at GM, focusing on building large scale data platforms in cloud environments. Collaborating with data engineers and scientists while migrating systems to cloud solutions.
Data Engineer responsible for data integrations with AWS technology stack for Adobe's Digital Experience. Collaborating with multiple teams to conceptualize solutions and improve data ecosystem.
People Data Architect designing and managing people data analytics for Gen, delivering actionable insights for HR. Collaborating across teams to enhance data - driven decision - making.
Data Engineer role focused on shaping future connectivity for customers at Vodafone. Involves solving complex challenges in a diverse and inclusive environment.
VP, Senior Data Engineer responsible for designing and developing cloud data solutions for insider risk in Information Security at SMBC. Collaborating with multiple teams to enhance cybersecurity data platform.
Data Engineer responsible for architecting, developing, and maintaining Allegiant’s enterprise data infrastructure. Overseeing transition to cloud hosted data warehouse and developing next - generation data tools.