Desenvolver e manter pipelines de dados robustos, escaláveis e testáveis utilizando PySpark e Airflow.
Projetar e implementar processos de ingestão e transformação de dados para alimentar o datalake em arquitetura de camadas (Bronze, Silver, Gold).
Atuar com controle de qualidade de dados, documentação e gestão de linhagem utilizando OpenMetadata.
Trabalhar em conjunto com os squads de produto e captura para garantir a consistência e cobertura dos dados.
Garantir a governança de dados, versionamento e auditoria das pipelines em produção.
Otimizar rotinas de ETL/ELT e desempenho de queries em bancos relacionais, data warehouses e motores como Elasticsearch e Athena.
Requirements
Procuramos pessoas com conhecimento em...
PySpark
Apache Airflow
AWS S3, Glue, Athena, EC2
SQL (Athena, PostgreSQL)
Elasticsearch/OpenSearch
Docker
Pandas
Jupyter
Unix (Linux), Bash
DBT
Será legal se você conhecer...
Glue
Delta Lake
Kubernetes
NoSQL
Elasticsearch
Airbyte
Benefits
Benefícios Caju no valor fixo de R$2.300,00 mês (CWB e RMC) ou R$ 1.840,00 (Demais regiões) (alimentação, mobilidade, saldo multi e auxílio home office);
Plano de saúde Unimed ou Amil com abrangência Nacional;
Plano odontológico Odontoprev;
Seguro de vida - Metlife;
Wellhub;
Keikein (plataforma de apoio psicológico);
Convênio farmácia Panvel;
Licença maternidade e paternidade estendida pelo Programa Empresa Cidadã;
Subsídio para desenvolvimento, em parceria com a Unico Skill, que oferece diversas opções de graduação, pós-graduação, idiomas, mentorias, etc;
Aulas de inglês particulares para liderança e especs nível II para cima;
Auxilio Escola/Educação.
Frutas frescas, cookies, café, chá e energéticos disponíveis a qualquer momento;
Happy hours, eventos de integração e team buildings;
Viagens para o escritório dos Loggers de fora são custeadas pela empresa;
Sem dress code: aqui você pode ser você e usar o que te deixa mais confortável;
Ambiente descontraído, cheio de desafios e campeonatos de videogame; Rede de descanso para um respiro no meio da correria do dia
Biblioteca da Log com livros incríveis para todos os Loggers se desenvolverem;
Massagem in company;
Day-off de aniversário;
Presente de aniversário;
Presentes incríveis a cada ano de Logger;
Recruta Loggers (programa de indicação com bonificação $).
Quantitative Data Engineer developing data solutions and automations for MassMutual's investment management. Working with data orchestration tools within a collaborative team environment.
Senior Data Engineer designing and scaling data infrastructure for analytics, machine learning, and business intelligence in a software supply chain security company.
Data Engineer developing architecture and pipelines for data analytics at NinjaTrader. Empowering analysts and improving business workflows through data - driven solutions.
Data Engineer joining Alterric to collaborate on data platform projects and analytics solutions. Working with Azure Cloud technologies to ensure data quality and integrity for informed decision - making.
Data Engineer at Kyndryl transforming raw data into actionable insights using ELK Stack. Responsible for developing, implementing, and maintaining data pipelines and processing workflows.
Senior Data Engineer at Clorox developing cloud - based data solutions. Leading data engineering projects and collaborating with business stakeholders to optimize data flows.
Data Engineer building solutions on AWS for high - performance data processing. Leading initiatives in data architecture and analytics for operational support.
Senior Data Engineer overseeing Databricks platform integrity, optimizing data practices for efficient usage. Leading teams on compliance while mentoring a junior Data Engineer.
Associate Data Engineer contributing to software applications development and maintenance using Python. Collaborating with teams for clean coding and debugging practices in Pune, India.