Data Engineer managing large datasets for AI models at Walaris. Collaborate with engineers and ensure data quality and processing pipelines.
About the role
- Senior Data Engineer optimizing data pipelines for AI solutions developed for clients. Working on data architecture and implementing machine learning models for scalable environments.
Responsibilities
- Responsável por projetar, construir e otimizar pipelines de dados para soluções de inteligência artificial desenvolvidas sob encomenda para clientes do Distrito.
- Projetar e implementar arquiteturas de dados escaláveis para suportar modelos de machine learning e IA generativa;
- Desenvolver e otimizar pipelines para ingestão, processamento e armazenamento de grandes volumes de dados;
- Trabalhar com arquitetos de soluções e engenheiros de machine learning para transformar requisitos de negócio em soluções técnicas eficientes;
- Garantir qualidade, governança e segurança dos dados, aplicando melhores práticas de engenharia de dado;
- Implementar estratégias de MLOps para automação de pipelines e versionamento de modelos;
- Colaborar na integração de APIs e sistemas distribuídos para processamento de dados em tempo real;
- Monitorar a performance e escalabilidade dos sistemas de dados, identificando oportunidades de otimização.
Requirements
- Experiência sólida c/ modelagem de dados e ETL, incluindo frameworks como Apache Airflow, Data Factory ou Spark;
- Domínio de bancos de dados SQL (PostgreSQL, MySQL) e NoSQL (MongoDB, Redis, Cassandra)
- Conhecimento em VectorDB, como Qdrant, é considerado diferencial importante;
- Experiência com arquiteturas de big data e processamento distribuído;
- Conhecimento em Python (Pandas, PySpark) e ferramentas de MLOps (MLflow, Kubeflow, Vertex AI);
- Experiência com serviços de cloud computing (AWS, Azure, GCP ou OCI);
- Familiaridade com contenedores e orquestração (Docker, Kubernetes);
- Experiência com segurança e governança de dados.
- Diferenciais:
- Experiência com engenharia de dados aplicada à IA generativa e modelos LLM;
- Conhecimento em arquiteturas orientadas a eventos (Kafka, RabbitMQ);
- Experiência em infraestrutura como código (Terraform, CloudFormation);
- Certificações em engenharia de dados e cloud computing.
Benefits
- Vaga também para PcD
Job title
Job type
Experience level
Salary
Not specified
Degree requirement
No Education Requirement
Tech skills
Location requirements
Data Engineer developing cloud migration and data solutions for retail at Public Group. Engage in multiple projects and create growth opportunities in a hybrid team environment.
Cloud Data Engineer at Regions designing, building, and maintaining data structures and pipelines. Collaborating on data initiatives, ensuring optimal architecture, working closely with technical partners.
Data Engineer in Veepee's Data Factory working on data ingestion pipelines and improving data quality. Collaborative environment utilizing Kubernetes, Python, Java, and modern data architectures.
Data Architect designing and maintaining enterprise data architecture at Envalior. Driving enterprise - wide impact ensuring scalability and reliability of systems, reporting, and AI initiatives.
Data Engineer role at Valmont focused on data analytics and technology for sustainable agricultural practices. Collaborating with cross - functional teams to enhance data management and analytics tools.
Senior Data Engineer at Barclays building and maintaining data pipelines and warehouses. Collaborating with data scientists and ensuring data accuracy, accessibility, and security.
Lead Data Engineer guiding a team in designing scalable data solutions for iKnowHow S.A. Overseeing development of data pipelines while collaborating with cross - functional teams.
Data Engineer at LPL Financial developing Python - based ETL pipelines. Collaborating with cross - functional teams to ensure reliable data delivery and optimizing pipeline performance.
Senior Data Engineer at Keyrus focusing on data solutions and projects to drive performance. Collaborating with teams globally to enhance data transformation and governance processes.