Senior AI Analyst delivering value in AI. Conducting EDA, defining KPIs, and evaluating models for production impact.
Responsibilities
Realizar estudos para recomendar métricas e critérios de aceite que traduzam objetivos de negócio em KPIs e limiares quantitativos, mensurável e defendível nas discussões de priorização e go/no-go.
Construir e manter datasets e ground truth (incluindo cenários de teste) a partir de EDA, amostragem e rotulação com qualidade, criando base confiável para treinar, comparar e validar modelos, RAG e agentes.
Avaliar sistematicamente modelos, pipelines de RAG e agentes de IA por meio de experimentos offline/online, AB tests e análise de erro, para selecionar a melhor abordagem e comprovar que a solução entrega valor real.
Projetar e executar experimentos com hipóteses claras, desenho estatístico adequado e documentação dos resultados, permitindo decisões técnicas e de produto baseadas em evidência e não em opinião.
Manter uma suíte de regressão de modelo/assistente que rode a cada mudança relevante, com scripts e checks automatizados, para impedir que novas versões destruam ganhos já conquistados em releases anteriores.
Monitorar continuamente performance e draft em produção por meio de dashboards, alertas e revisões periódicas, identificando degradação de qualidade ou mudança de distribuição de dados e disparando planos de mitigação.
Medir impacto de negócio das soluções de IA ligando métricas técnicas a indicadores operacionais/financeiros, comparando cenário antes/depois ou grupos de controle, para sustentar decisões de investimento e priorização de roadmap.
Documentar experimentos, decisões, limitações e trade-offs em formatos reprodutíveis (notebooks, relatórios curtos, changelog), garantindo rastreabilidade técnica e facilitando auditorias e futuras iterações.
Atuar no desenho de requisitos e arquitetura de IA trazendo visão de dados e avaliação desde o discovery, revisando escopo e apontando riscos de mensurabilidade ou viabilidade, para evitar casos de uso que não se sustentam nos dados.
Colaborar de forma ativa com engenharia e gestão de projetos na definição de critérios de aceite, plano de testes e leitura de resultados, garantindo que cada entrega chegue em produção já acompanhada de evidência quantitativa.
Requirements
Ensino Superior completo em Ciência de Dados, Estatística, Matemática ou Matemática Aplicada, Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Engenharia de Produção, Engenharias, Geologia, Física ou Economia.
Intelligence Analyst at Leidos supporting USAF Air Combat Command's ISR mission. Engaging with stakeholders, collaborating on software features, and developing training materials.
Senior Intelligence Analyst supporting ISR mission with experience in GEOINT, SIGINT, and Multi - INT. Engage with Enterprise stakeholders and develop training guides for software features.
Financial Intelligence Analyst leveraging data analytics to inform national security decisions. Collaborate with clients to provide insights into illicit finance risks and analytical recommendations.
Intelligence Analyst supporting pre - sales and capture efforts across DoD and IC. Bridging analytic tradecraft with commercial technology to deliver operational value.
Senior Cyber Security Specialist responsible for threat detection in Cyber Security team. Overseeing operations and collaborating with teams to protect organization’s assets and services.
Intelligence Analyst leveraging narrative intelligence and OSINT investigations for government programs. Conducting data analysis and providing actionable insights to combat digital threats.
SOC Cyber Threat Analyst at Vodafone analyzing and responding to security alerts in a 24/7 environment. Collaborating on security monitoring and reporting for cyber threats.
Senior Crime Intelligence Analyst II for Florida Gaming Control Commission. Analyzing criminal activities related to illegal gambling and supporting investigations.
Analyst in anti - fraud intelligence focusing on telecommunications investigations and data analysis. Collaborating with teams to detect and prevent corporate fraud in a dynamic environment.
Cyber Threat Analyst at Hornetsecurity dedicated to improving cybersecurity solutions. Engaging in threat analysis and response to safeguard users worldwide.