Senior Data Engineer supporting AI - enabled financial compliance initiative with data pipelines and ingestion processes. Collaborating with diverse teams in a mission - critical regulated environment.
About the role
- Senior Data Engineer at Matrix, focusing on data pipeline development and optimization for the energy market. Collaborating on scalable solutions for data processing and analytics.
Responsibilities
- Desenvolver e otimizar Pipelines de Dados (Batch) performáticos e escaláveis para ingestão de dados estruturados, semi-estruturados e não estruturados ao nosso Data Lake (GCS);
- Desenvolver e gerenciar cargas de ETL/ELT para processamento de dados em Spark/SQL para alimentar as camadas Trusted (Silver) e Refined (Gold) em nosso Data Warehouse (BigQuery);
- Atuar na consolidação e modelagem de dados de fontes internas e externas a fim de viabilizar iniciativas de Analytics, Business Intelligence, Data Science, GenAI e Produtos de Dados;
- Desenvolver integrações de dados online (Streaming) para ingestão e processamento de dados na GCP;
- Projetar e implementar arquiteturas de dados eficientes, otimizando tempo de desenvolvimento, performance e custo computacional;
- Replicar regras de negócio no processo de transformação de dados para a geração de datasets;
- Criar e manter processos de Data Quality, Data Assurance, Linhagem e Versionamento de Dados;
- Ser a Referência Técnica do Time de Data & Analytics da Matrix Energia, suportando as iniciativas mais inovadoras e ousadas do nosso cotidiano.
Requirements
- Graduação em cursos de Computação, Sistemas, Tecnologia, Dados ou áreas afins;
- Sólida experiência nas linguagens Python, Spark/SQL;
- Experiência em CI/CD, preferencialmente em GitHub;
- Experiência em Google Cloud Platform (GCP), Google Cloud Storage (GCS) e Google BigQuery;
- Experiência com ferramentas de orquestração de dados tais como Airflow ou Prefect;
- Experiência com tecnologias de data streaming tais como Pub/Sub ou Azure Functions;
- Conhecimento sobre Modelagem de Dados na metodologia Medallion.
Benefits
- Saúde de qualidade com a Omint: tenha acesso a uma rede de saúde e odontológica de primeira linha através da Omint com cobertura nacional.
- Cartão Alelo Pod para seus gastos flexíveis com o Vale Refeição e Alimentação, sendo aceito nas principais redes de restaurantes e supermercados.
- Nossa jornada de trabalho tem carga horária flexível e sustentável.
- Mobilidade: você pode escolher uma modalidade que faz sentido para você! Vale Transporte, auxílio combustível ou estacionamento.
- Total Pass: plataforma online dedicada à promoção da qualidade de vida, saúde e bem-estar. Planos que proporcionam acesso a academias, estúdios e serviços online, com descontos exclusivos da Matrix, abrangendo não apenas você, mas também até 3 dependentes.
- Seguro de vida em grupo.
- Participação nos Lucros e Resultados (PLR), mediante atingimento de metas e performance.
- Trabalhar com uma equipe fantástica em um ambiente colaborativo que busca construir um futuro brilhante e mais sustentável.
Job title
Job type
Experience level
Salary
Not specified
Degree requirement
Tech skills
Location requirements
Data Architect leading the definition and construction of cloud data architecture for Kyndryl. Participating in significant technological modernization initiatives, focusing on Google Cloud Platform.
Senior Data Engineer driving data intelligence requirements and scalable data solutions for a global consulting firm. Collaborating across functions to enhance Microsoft architecture and analytics capabilities.
Experienced AI Engineer designing and building production - grade agentic AI systems using generative AI and large language models. Collaborating with data engineers, data scientists in a tech - driven company.
Intermediate Data Engineer designing and building data pipelines for travel industry data management. Collaborating across teams to ensure reliable data for analytics and reporting.
Data Engineer managing and organizing datasets for AI models at Walaris, developing AI - driven autonomous systems for defense and security applications.
Data Engineer designing and maintaining data pipelines at Black Semiconductor. Collaborating with process, equipment, and IT teams to support manufacturing analytics and decision - making.
Junior Data Engineer role focusing on Business Intelligence and Big Data at Avanade. Collaborating on data analysis and SQL queries in a supportive learning environment.
GCP Data Engineer designing and developing data processing modules for Ki, an algorithmic insurance carrier. Working closely with multiple teams to optimize data pipelines and reporting.
Data Engineer at Securian Financial optimizing scalable data pipelines for AI and advanced analytics. Collaborating with teams to deliver secure and accessible data solutions.