Hybrid AI Evaluation Engineer

at Factorial

• Job title: AI Evaluation Engineer
• Job type: Full Time
• Experience level: Mid level, Senior
• Salary: Not specified
• Degree requirement: Postgraduate Degree
• Tech skills: Python, PyTorch, Tensorflow
• Location requirements: Hybrid, Barcelona, Spain

About the role

• AI Evaluation Engineer designing and implementing evaluation frameworks for advanced AI systems. Collaborating across teams to ensure model effectiveness and safety while driving innovations in AI metrics.

Responsibilities

• Diseñar y desarrollar marcos de evaluación: crear tuberías de evaluación escalables y reproducibles para sistemas de IA a gran escala, incluyendo LLMs y arquitecturas de múltiples agentes.
• Innovación en métricas: definir e implementar métricas de evaluación novedosas que capturan capacidades del modelo más allá de los estándares tradicionales.
• Análisis de rendimiento: realizar benchmarking de modelos de IA en diferentes dominios y tareas, analizando habilidades y comportamientos bajo diferentes configuraciones.
• Pruebas de seguridad, confiabilidad y alineación: desarrollar herramientas y experimentos para sondear la seguridad, robustez, interpretabilidad y sesgo del modelo.
• Colaboración interdisciplinaria: trabajar en estrecha colaboración con equipos de ajuste y optimización del modelo para evaluar la efectividad del sistema de extremo a extremo.

Requirements

• MSc o PhD en Ciencias de la Computación, Inteligencia Artificial, Aprendizaje Automático, Estadística o un campo relacionado.
• 3+ años de experiencia desarrollando, evaluando u optimizando sistemas de IA.
• Fuertes habilidades en programación en Python, con experiencia en PyTorch, TensorFlow o JAX.
• Experiencia en el diseño de protocolos de evaluación para LLMs, sistemas multi-agente o entornos de aprendizaje por refuerzo.
• Comprensión profunda de métricas de ML, metodologías de evaluación y análisis estadístico.
• Inglés fluido; conocimiento de idiomas europeos adicionales (alemán, neerlandés, español, francés o italiano) es un plus.

Benefits

• Oportunidad de construir una plataforma de implementación de inteligencia artificial en la nube que impulsará sistemas de IA de próxima generación.
• Un entorno de trabajo colaborativo y centrado en la innovación con una autonomía y propiedad significativas.
• Modelo de trabajo híbrido con horarios flexibles.
• Oportunidad de unirse a una de las empresas más ambiciosas de Europa en la intersección de la IA y la ingeniería de silicona.