Clera
Por contrato Fuente ExternaCreá tu perfil gratis en un minuto: 1 mes como Candidato Destacado (aparecés primero para los reclutadores), alertas de ofertas como esta por email y postulación rápida con tu CV.
Beneficio válido una sola vez por candidato. Se activa al confirmar tu email.
Únete a una red de expertos en evaluación de alto nivel que apoyan proyectos de investigación de IA. Liderarás el diseño, la validación y las operaciones de calificación de puntos de referencia cuando los proyectos se alineen con tu experiencia, ayudando a producir evaluaciones rigurosas y confiables de modelos de IA.
Diseñar puntos de referencia, incluyendo su alcance, tipos de preguntas, niveles de dificultad y métodos de puntuación.
Escribir y revisar rúbricas para apoyar una calificación consistente.
Desarrollar respuestas y conjuntos de pruebas de oro que resistan la revisión experta.
Liderar rondas de calificación calibrando a los calificadores, midiendo el acuerdo y resolviendo disputas.
Analizar fallos de modelos, identificar causas raíz y recomendar mejoras.
Diseñar y realizar rigurosos estudios de comparación de modelos.
Validar puntos de referencia para detectar contaminación, ambigüedad y saturación.
Diseñar estudios de usuarios sobre cómo las personas califican e interactúan con los resultados de los modelos.
Al menos 5 años de experiencia en evaluación, pruebas o valoración, o al menos 5 años de experiencia en el dominio combinada con trabajo práctico de evaluación.
Experiencia en el diseño de un punto de referencia, plan de pruebas, examen o evaluación utilizado por otros.
Experiencia en la redacción o revisión de rúbricas y respuestas de oro, y en la revisión o liderazgo de calificadores o redactores de preguntas.
Dominio de Python y herramientas de evaluación como Inspect, lm-eval-harness, HELM o promptfoo.
Experiencia en el análisis de fallos de modelos o pruebas y en la recomendación de soluciones.
Antecedentes en evaluación de ML, QA, ingeniería de pruebas, psicometría, diseño de evaluaciones, investigación UX, ciencia de datos o experiencia profunda en la materia.
La experiencia en la validación de puntos de referencia, la medición del acuerdo de los calificadores, la realización de comparaciones de modelos o la ejecución de estudios de usuarios es relevante.
La compensación oscila entre $75 y $175 por hora, dependiendo del proyecto, el campo y el nivel de experiencia. El pago se basa en las horas trabajadas.
Totalmente remoto. Los proyectos pueden durar desde una semana hasta varios meses.
Publicado originalmente en Himalayas
Mensual
En Todo el Mundo
Todo el mundo
Remoto · Todo el mundoPotenciá tu currículum para conseguir más entrevistas
El 75% de los CVs son rechazados por sistemas ATS antes de llegar a un reclutador. Nuestra IA reestructura tu CV para maximizar la compatibilidad.
Creá una versión de tu CV optimizada para una oferta específica a la que te postulaste.
Nuestro asistente te guía paso a paso para crear un currículum profesional optimizado para ATS.
Crear CV con IA