En el Grupo Stefanini creemos en el poder de la colaboración. Co-creamos soluciones innovadoras junto con nuestros clientes, combinando tecnología de vanguardia, inteligencia artificial y la creatividad humana. Estamos a la vanguardia en la resolución de problemas de negocio, generando un impacto real a escala global.
Al unirte a Stefanini, formas parte de un viaje global de transformación. Nos comprometemos a generar un impacto positivo no solo en los negocios, sino también en la vida de nuestros colaboradores. Si buscas una oportunidad de crecimiento profesional en una empresa que valora la innovación, el respeto, la autonomía y la colaboración, ¡la encontrarás aquí! ¡Únete a nosotros y sé parte del cambio!
LI#REMOTE LI#RL1
Garantizar que las soluciones basadas en inteligencia artificial entreguen respuestas:
- Correctas y relevantes;
- Seguras y éticas;
- Consistentes y reproducibles;
- Adecuadas al contexto del negocio;
- Alineadas con las políticas de la empresa;
- Con buena experiencia para el usuario;
- Con bajo riesgo de: alucinación, sesgo y exposición de datos.
**Principales responsabilidades**
1. **Evaluación de respuestas de IA**
- Analizar respuestas generadas por distintos modelos de IA;
- Evaluar: precisión, claridad, completitud, relevancia y adherencia al contexto;
- Identificar: alucinaciones, contradicciones, sesgos e información sin evidencia;
- Verificar si la IA comprendió correctamente la intención del usuario;
- Evaluar la adherencia a las instrucciones, políticas y criterios de negocio;
- Clasificar respuestas según criterios previamente definidos;
- Comparar diferentes modelos, prompts, versiones y configuraciones.
2. **Creación de criterios y rúbricas de evaluación**
- Definir métricas de calidad para cada caso de uso;
- Crear rúbricas con criterios objetivos y escalas de puntuación;
- Establecer ejemplos de respuestas: buenas, aceptables e inadecuadas;
- Crear conjuntos de pruebas, casos límite y escenarios adversariales;
- Estandarizar el proceso de evaluación entre los curadores;
- Garantizar la consistencia y trazabilidad de las evaluaciones.
3. **Curaduría de datos y ejemplos**
- Seleccionar y organizar ejemplos para: entrenamiento, evaluación y mejora de prompts;
- Revisar las bases de conocimiento utilizadas por la IA;
- Identificar datos desactualizados, duplicados, incompletos o contradictorios;
- Garantizar la calidad, representatividad y diversidad de los datos;
- Eliminar información sensible o inadecuada;
- Crear conjuntos de datos de validación y benchmark;
- Mantener el historial de cambios y decisiones de curaduría.
4. **Ingeniería y mejora de prompts**
- Crear, revisar y optimizar prompts;
- Definir: instrucciones de sistema, contextos, restricciones y formatos de respuesta;
- Probar técnicas como: uso de ejemplos, descomposición de tareas, clasificación y validación;
- Evaluar el impacto de los cambios en los prompts;
- Reducir ambigüedades y comportamientos inconsistentes;
- Trabajar junto con las áreas de producto, desarrollo y negocio;
- Crear patrones reutilizables de prompts y plantillas.
5. **Pruebas de seguridad y comportamiento**
- Realizar pruebas de: inyección de prompts (prompt injection), jailbreak y manipulación de la IA;
- Evaluar la exposición indebida de datos confidenciales;
- Probar respuestas ante temas sensibles;
- Identificar riesgos de sesgo, discriminación y trato desigual;
- Evaluar si la IA rechaza adecuadamente solicitudes inapropiadas;
- Crear pruebas de regresión;
- Apoyar procesos de red teaming de IA.
6. **Monitoreo de calidad en producción**
- Monitorear el comportamiento de la IA después de la implementación;
- Analizar retroalimentación, quejas y evaluaciones de los usuarios;
- Identificar degradación del desempeño;
- Monitorear indicadores de: error, abandono, retrabajo y escalamiento humano;
- Investigar incidentes relacionados con las respuestas de la IA;
- Recomendar ajustes en: prompts, modelos, datos y flujos;
- Mantener procesos de mejora continua.
7. **Gobernanza y documentación**
- Documentar criterios, decisiones, pruebas y resultados;
- Elaborar informes de calidad de los modelos y soluciones;
- Mantener un catálogo de: prompts, versiones y casos de uso;
- Registrar las limitaciones conocidas de la IA;
- Apoyar las políticas de uso responsable de la inteligencia artificial;
- Contribuir a auditorías internas y externas;
- Garantizar la trazabilidad de los cambios realizados.
8. **Liderazgo técnico y orientación**
- Orientar a curadores, analistas y prompt engineers con menos experiencia;
- Revisar evaluaciones realizadas por otros profesionales;
- Definir estándares y buenas prácticas;
- Dirigir talleres de evaluación de IA;
- Apoyar decisiones sobre modelos, proveedores y arquitecturas;
- Actuar como referente técnico para las áreas de producto, tecnología, jurídico y compliance;
- Transformar problemas subjetivos de calidad en criterios medibles.
**Competencias técnicas deseables**
- Experiencia con modelos de lenguaje e IA generativa;
- Conocimiento de prompt engineering;
- Experiencia con evaluación humana y automática de modelos;
- Creación de datasets de prueba;
- Conocimiento de métricas de calidad de IA;
- Nociones de machine learning y procesamiento de lenguaje natural;
- Familiaridad con: RAG, embeddings, agentes y bases de conocimiento;
- Conocimiento de técnicas de seguridad para LLMs;
- Capacidad de análisis de datos;
- Conocimientos de SQL y, preferiblemente, Python;
- Experiencia con herramientas de: anotación, evaluación y observabilidad de IA;
- Conocimiento de control de versiones y documentación;
- Nociones de LGPD, privacidad y uso responsable de IA.
El profesional no necesariamente debe ser científico de datos o desarrollador avanzado. No obstante, para una posición sénior, debe comprender técnicamente el funcionamiento de los sistemas y dialogar con los equipos de ingeniería.
**Beneficios**
- 🍛 Vale de alimentación o vale comida;
- 👨🏼🎓 Descuento en cursos, universidades e instituciones de idiomas;
- 📚 Academia Stefanini: plataforma con cursos en línea, gratuitos, actualizados y con certificado;
- 🗣 Mentoring;
- 💉 Club de ventajas para consultas y exámenes;
- 🏥 Asistencia médica;
- 🦷 Asistencia odontológica;
- 💰 Club de ventajas y descuentos en los mejores establecimientos;
- 🛫 Club de viajes;
- 🐶 Convenio para mascotas.
