A pessoa engenheira de dados irá trabalhar junto ao time de engenharia de Dados do time de Cartões na criação de Pipelines de Dados para ingestão e disponibilização de dados do domínio de cartões no data Lake Corporativo do Santander Brasil.
A pessoa trabalhará com um time ágil, em projeto estratégico da área e deve possuir conhecimento em Databricks e PySpark.
Requirements
Habilidade em Databricks: Experiência em trabalhar com Apache Spark em Databricks, incluindo a criação e otimização de pipelines de dados.
Experiência em Pyspark e Python e Kedro: Fortes habilidades de programação em Pyspark e Python e Kedro para desenvolver, depurar e manter códigos de transformação de dados.
Processamento Batch e Streaming de Dados: Conhecimento em processamento de dados em lotes e em streaming (mensageria), com a capacidade de projetar, implementar e manter pipelines de processamento de dados.
Conhecimento em DevOps: Familiaridade com o uso do Jenkins para integração e entrega contínua (CI/CD), além de automação de tarefas de implantação e gerenciamento de pipelines.
Git: Proficiência em Git para controle de versão de código-fonte e colaboração eficaz em equipes de desenvolvimento.
Métodos Ágeis: Compreensão dos princípios e práticas de métodos ágeis, como Kanban e Scrum, para colaboração eficaz e gerenciamento de projetos.
Orquestração (por exemplo, Control-M ou outros): Conhecimento em ferramentas de orquestração de processos, o que é importante para o agendamento e controle de fluxos de trabalho.
Conhecimento em Microsoft Azure: Experiência com os principais serviços da Microsoft Azure para Dados, incluindo o Azure Databricks, Azure Data Factory e Azure Storage.
Conhecimento em AWS: Experiência nos principais serviços como Aurora PostgreSQL, CloudWatch, Lambda, S3.
Vivência em Ambientes On-Premises (Cloudera): Desejável Experiência anterior com a plataforma Cloudera ou outras soluções on-premises para big data, incluindo Hadoop, HBase e Hive.
Conhecimento em desenvolvimento orientado a objeto: Familiaridade com linguagem JAVA é de bastante ajuda (não é necessário codar, sim interpretar).
Certificações opcionais: Certificações AZ-900 (Microsoft Azure Fundamentals) e DP-900 (Microsoft Azure Data Fundamentals) são preferenciais e demonstram um conhecimento sólido da plataforma Azure e em dados.
Benefits
Plano de Saúde Bradesco (Coparticipação de 30%);
Odontológico Bradesco (Sem contribuição);
Seguro de Vida;
Wellhub (Gympass);
Auxílio Creche;
Auxilio Filho Excepcional;
Crédito Consignado;
Previdência Privada;
Convênio Pet;
SESC;
Telemedicina Conexa.
Ajuda de Custo;
Vale Alimentação / Refeição;
Cartão Multibenefícios;
Upgrade de convênio médico.
Somos uma Empresa Cidadã: licença maternidade e paternidade prolongadas;
Programa de acolhimento a gestantes;
Cesta Natalidade e Livro "Acontecia quando eu nascia";
Desenvolvimento Profissional: cursos disponíveis na universidade interna;
100% home office ou híbrido, conforme a aplicabilidade do projeto.
Data Engineer Senior responsible for building data architecture and optimizing pipelines for Business Intelligence. Collaborating with analysts to develop insights using Power BI and Azure technologies.
Principal Data Engineer driving modernization from legacy systems to cloud - native platforms at Mastercard. Architecting and developing ETL platforms with AI integration and establishing data - driven strategies.
Principal Data Engineer modernizing cloud - native platforms for AI - powered solutions at Mastercard. Leading teams to enhance data processing efficiency and reliability across global operations.
Data Engineer designing, implementing, and maintaining data pipelines at Sabiá Gaming. Focused on high - quality data access and integration for enhanced decision - making.
Quantitative Data Engineer developing data solutions and automations for MassMutual's investment management. Working with data orchestration tools within a collaborative team environment.
Senior Data Engineer designing and scaling data infrastructure for analytics, machine learning, and business intelligence in a software supply chain security company.
Data Engineer developing architecture and pipelines for data analytics at NinjaTrader. Empowering analysts and improving business workflows through data - driven solutions.
Data Engineer joining Alterric to collaborate on data platform projects and analytics solutions. Working with Azure Cloud technologies to ensure data quality and integrity for informed decision - making.
Data Engineer at Kyndryl transforming raw data into actionable insights using ELK Stack. Responsible for developing, implementing, and maintaining data pipelines and processing workflows.