Lead Data Engineer overseeing engineers and advancing the data platform at American Family Insurance. Creating tools and infrastructure to empower teams across the company.
About the role
- Senior Data Engineer building Big Data pipelines and distributed processing at Reply, an Italian IT consultancy. Collaborate with data science teams and cloud platforms.
Responsibilities
- Construir e gerenciar pipelines confiáveis de dados envolvendo ingestão/coleta, processamento, integração, armazenamento e disponibilização de dados
- Atuar em arquitetura de sistemas distribuídos para processamento massivo em paralelo (MPP)
- Combinar diversas fontes de dados heterogêneas e colaborar com equipes de análise e ciência de dados
- Colaborar na construção de soluções e geração de valor baseadas em dados
- Trabalhar com as frentes IA, Cloud, Machine Learning e Indústria 4.0
Requirements
- Experiência prática com ingestão, integração, processamento e armazenamento de grandes volumes de dados
- Atuação em projetos de Big Data
- Behavior Driven Development (BDD)
- Extração de dados em Python
- Processamento de dados com PySpark
- Experiências em ferramentas ETL's
- Conhecimento em modelagem de dados relacionais e dimensionais (Data WareHouse)
- Experiência com bancos de dados SQL
- Experiência com ferramentas Big Data na AWS: EMR, Kinesis, RedShift, S3, Glue, ElasticSearch
- Conhecimento em Kafka
- Conhecimento com Data Lake e Data Ops
- Desejável: Certificações AWS
- Desejável: Conhecimento em Terraform ou CloudFormation
Benefits
- Cartão flexível Swile pra você usar como quiser (VA e VR)
- Totalpass ou Gympass
- Apoio à Saúde Mental – Psicologia Viva
- Plano de Saúde Bradesco
- Plano Odontológico Bradesco
- Participação nos Lucros
- Auxílio-Creche para nossas mamães
- Incentivo a certificações
- Palestras e Webinars especiais
- Programa RAF de bonificação por indicações
- Seguro de Vida
- Subsídio para Inglês ou Italiano
- Desconto Open English
- Presente de aniversário
- Possibilidade de mudança do país
- Parcerias com Universidades
Job title
Job type
Experience level
Salary
Not specified
Degree requirement
No Education Requirement
Tech skills
Location requirements
Working Student contributing to data engineering projects for AI/ML workflows while gaining hands - on experience with data pipelines and tools.
Data Architect designing end - to - end Snowflake data solutions and collaborating with technical stakeholders at Emerson. Supporting the realization of Data and Digitalization Strategy.
Manager of Data Engineering leading data assets and infrastructure initiatives at CLA. Collaborating with teams to enforce data quality standards and drive integration efforts.
Data Engineer building modern Data Lake architecture on AWS and implementing scalable ETL/ELT pipelines. Collaborating across teams for analytics and reporting on gaming platforms.
Chief Data Engineer leading Scania’s Commercial Data Engineering team for growing sustainable transport solutions. Focused on data products and pipelines for BI, analytics, and AI.
Entry - Level Data Engineer at GM, focusing on building large scale data platforms in cloud environments. Collaborating with data engineers and scientists while migrating systems to cloud solutions.
Data Engineer designing and building scalable ETL/ELT pipelines for enterprise - grade analytics solutions. Collaborating with product teams to deliver high - quality, secure, and discoverable data.
Data Engineer responsible for data integrations with AWS technology stack for Adobe's Digital Experience. Collaborating with multiple teams to conceptualize solutions and improve data ecosystem.
People Data Architect designing and managing people data analytics for Gen, delivering actionable insights for HR. Collaborating across teams to enhance data - driven decision - making.