Senior AI Analyst delivering value in AI. Conducting EDA, defining KPIs, and evaluating models for production impact.
Responsibilities
Realizar estudos para recomendar métricas e critérios de aceite que traduzam objetivos de negócio em KPIs e limiares quantitativos, mensurável e defendível nas discussões de priorização e go/no-go.
Construir e manter datasets e ground truth (incluindo cenários de teste) a partir de EDA, amostragem e rotulação com qualidade, criando base confiável para treinar, comparar e validar modelos, RAG e agentes.
Avaliar sistematicamente modelos, pipelines de RAG e agentes de IA por meio de experimentos offline/online, AB tests e análise de erro, para selecionar a melhor abordagem e comprovar que a solução entrega valor real.
Projetar e executar experimentos com hipóteses claras, desenho estatístico adequado e documentação dos resultados, permitindo decisões técnicas e de produto baseadas em evidência e não em opinião.
Manter uma suíte de regressão de modelo/assistente que rode a cada mudança relevante, com scripts e checks automatizados, para impedir que novas versões destruam ganhos já conquistados em releases anteriores.
Monitorar continuamente performance e draft em produção por meio de dashboards, alertas e revisões periódicas, identificando degradação de qualidade ou mudança de distribuição de dados e disparando planos de mitigação.
Medir impacto de negócio das soluções de IA ligando métricas técnicas a indicadores operacionais/financeiros, comparando cenário antes/depois ou grupos de controle, para sustentar decisões de investimento e priorização de roadmap.
Documentar experimentos, decisões, limitações e trade-offs em formatos reprodutíveis (notebooks, relatórios curtos, changelog), garantindo rastreabilidade técnica e facilitando auditorias e futuras iterações.
Atuar no desenho de requisitos e arquitetura de IA trazendo visão de dados e avaliação desde o discovery, revisando escopo e apontando riscos de mensurabilidade ou viabilidade, para evitar casos de uso que não se sustentam nos dados.
Colaborar de forma ativa com engenharia e gestão de projetos na definição de critérios de aceite, plano de testes e leitura de resultados, garantindo que cada entrega chegue em produção já acompanhada de evidência quantitativa.
Requirements
Ensino Superior completo em Ciência de Dados, Estatística, Matemática ou Matemática Aplicada, Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Engenharia de Produção, Engenharias, Geologia, Física ou Economia.
Senior Market Intelligence Analyst working with large pharmaceutical and perfumery companies. Providing insights and analytical support to meet client needs and enhance data quality.
Senior Market Intelligence Analyst focused on market trends and industry dynamics for financial institutions. Defining processes, implementing tools, and managing operations to deliver insights.
Senior Business & Market Intelligence Analyst operating as a senior individual contributor accountable for delivering insights and reporting. Establishing measurement frameworks and supporting decision - making within a global insurer.
Lead inventory and assortment management in a data - driven fashion for a rapidly growing fashion brand. Drive strategic merchandising efforts and influence business outcomes through data analysis.
Cyber Intelligence Analyst analyzing cybersecurity threats and providing actionable intelligence to mitigate risks. Leading CTI projects and collaborating with multiple teams in the organization.
AI Market Intelligence Analyst supporting federal business development through contract opportunity analysis and AI tool application. Entry - level role with growth potential at A - TEK in McLean, VA.
Senior Market Intelligence Analyst at Motiva, enhancing air travel market strategies through data - driven insights. Collaborating on analytical projects and supporting commercial planning for the mobility sector.
Commercial & Revenue Intelligence Analyst at TLC Worldwide connecting data to business outcomes and supporting leaders with actionable insights across various departments.
Biotechnology Intelligence Analyst providing intelligence analysis on foreign military health issues. Supporting an Emerging and Disruptive Medical Technology Project in Virginia with extensive research and reporting responsibilities.