Hybrid Analista de Engenharia de Dados, Pleno

at Inmetrics

• Job title: Analista de Engenharia de Dados, Pleno
• Job type: Full Time
• Experience level: Mid level, Senior
• Salary: Not specified
• Degree requirement: Bachelor's Degree
• Tech skills: Apache, AWS, Azure, Hadoop, HBase, Java, Jenkins, Postgres, PySpark, Python, Spark
• Location requirements: Hybrid, Sao Paulo, Brazil

About the role

• Data Engineer creating data pipelines for Santander's card transactions. Collaborating with an agile team in strategic projects involving Databricks and PySpark.

Responsibilities

• A pessoa engenheira de dados irá trabalhar junto ao time de engenharia de Dados do time de Cartões na criação de Pipelines de Dados para ingestão e disponibilização de dados do domínio de cartões no data Lake Corporativo do Santander Brasil.
• A pessoa trabalhará com um time ágil, em projeto estratégico da área e deve possuir conhecimento em Databricks e PySpark.

Requirements

• Habilidade em Databricks: Experiência em trabalhar com Apache Spark em Databricks, incluindo a criação e otimização de pipelines de dados.
• Experiência em Pyspark e Python e Kedro: Fortes habilidades de programação em Pyspark e Python e Kedro para desenvolver, depurar e manter códigos de transformação de dados.
• Processamento Batch e Streaming de Dados: Conhecimento em processamento de dados em lotes e em streaming (mensageria), com a capacidade de projetar, implementar e manter pipelines de processamento de dados.
• Conhecimento em DevOps: Familiaridade com o uso do Jenkins para integração e entrega contínua (CI/CD), além de automação de tarefas de implantação e gerenciamento de pipelines.
• Git: Proficiência em Git para controle de versão de código-fonte e colaboração eficaz em equipes de desenvolvimento.
• Métodos Ágeis: Compreensão dos princípios e práticas de métodos ágeis, como Kanban e Scrum, para colaboração eficaz e gerenciamento de projetos.
• Orquestração (por exemplo, Control-M ou outros): Conhecimento em ferramentas de orquestração de processos, o que é importante para o agendamento e controle de fluxos de trabalho.
• Conhecimento em Microsoft Azure: Experiência com os principais serviços da Microsoft Azure para Dados, incluindo o Azure Databricks, Azure Data Factory e Azure Storage.
• Conhecimento em AWS: Experiência nos principais serviços como Aurora PostgreSQL, CloudWatch, Lambda, S3.
• Vivência em Ambientes On-Premises (Cloudera): Desejável Experiência anterior com a plataforma Cloudera ou outras soluções on-premises para big data, incluindo Hadoop, HBase e Hive.
• Conhecimento em desenvolvimento orientado a objeto: Familiaridade com linguagem JAVA é de bastante ajuda (não é necessário codar, sim interpretar).
• Certificações opcionais: Certificações AZ-900 (Microsoft Azure Fundamentals) e DP-900 (Microsoft Azure Data Fundamentals) são preferenciais e demonstram um conhecimento sólido da plataforma Azure e em dados.

Benefits

• Plano de Saúde Bradesco (Coparticipação de 30%);
• Odontológico Bradesco (Sem contribuição);
• Seguro de Vida;
• Wellhub (Gympass);
• Auxílio Creche;
• Auxilio Filho Excepcional;
• Crédito Consignado;
• Previdência Privada;
• Convênio Pet;
• SESC;
• Telemedicina Conexa.
• Ajuda de Custo;
• Vale Alimentação / Refeição;
• Cartão Multibenefícios;
• Upgrade de convênio médico.
• Somos uma Empresa Cidadã: licença maternidade e paternidade prolongadas;
• Programa de acolhimento a gestantes;
• Cesta Natalidade e Livro "Acontecia quando eu nascia";
• Desenvolvimento Profissional: cursos disponíveis na universidade interna;
• 100% home office ou híbrido, conforme a aplicabilidade do projeto.