Senior or Staff Data Scientist, Applied AI

Sobre el puesto

El trabajo se centra en la evaluación y la medición: benchmarks, controles de calidad y monitorización que mantienen un asistente correcto y seguro en análisis de mercado, razonamiento de riesgos y colocación de órdenes.

De un vistazo

Qué harás

• Diseñar sistemas de evaluación que cubran corrección, seguridad, latencia y riesgo de regresión
• Crear y mantener suites de benchmarks, golden sets y casos de escenarios adversarios
• Crear controles de calidad automatizados que bloqueen los lanzamientos cuando caigan las métricas clave
• Ejecutar ciclos de mejora de modelos: recogida de datos, taxonomías de errores, cambios en prompts y herramientas

Qué buscan

• Ocho o más años lanzando software en producción, con solidez en cualquier lenguaje
• Buen dominio de los fundamentos de ciencias de la computación, métodos de prueba y diseño de sistemas
• Experiencia creando frameworks de evaluación y suites de benchmarks para LLMs, agentes o sistemas de ranking
• Trayectoria en ciclos de mejora de modelos, desde la curación de datasets hasta los experimentos offline
• Soltura para depurar fallos de modelos y herramientas e instrumentar servicios