1. Inicio
  2. Trabajos
  3. Expert Talent Pool, Evals and Benchmarks

Acerca del puesto

Únete a una red de expertos en evaluación de alto nivel que apoyan proyectos de investigación de IA. Liderarás el diseño, la validación y las operaciones de calificación de puntos de referencia cuando los proyectos se alineen con tu experiencia, ayudando a producir evaluaciones rigurosas y confiables de modelos de IA.

Qué harás

  • Diseñar puntos de referencia, incluyendo su alcance, tipos de preguntas, niveles de dificultad y métodos de puntuación.

  • Escribir y revisar rúbricas para apoyar una calificación consistente.

  • Desarrollar respuestas y conjuntos de pruebas de oro que resistan la revisión experta.

  • Liderar rondas de calificación calibrando a los calificadores, midiendo el acuerdo y resolviendo disputas.

  • Analizar fallos de modelos, identificar causas raíz y recomendar mejoras.

  • Diseñar y realizar rigurosos estudios de comparación de modelos.

  • Validar puntos de referencia para detectar contaminación, ambigüedad y saturación.

  • Diseñar estudios de usuarios sobre cómo las personas califican e interactúan con los resultados de los modelos.

Qué buscamos

  • Al menos 5 años de experiencia en evaluación, pruebas o valoración, o al menos 5 años de experiencia en el dominio combinada con trabajo práctico de evaluación.

  • Experiencia en el diseño de un punto de referencia, plan de pruebas, examen o evaluación utilizado por otros.

  • Experiencia en la redacción o revisión de rúbricas y respuestas de oro, y en la revisión o liderazgo de calificadores o redactores de preguntas.

  • Dominio de Python y herramientas de evaluación como Inspect, lm-eval-harness, HELM o promptfoo.

  • Experiencia en el análisis de fallos de modelos o pruebas y en la recomendación de soluciones.

  • Antecedentes en evaluación de ML, QA, ingeniería de pruebas, psicometría, diseño de evaluaciones, investigación UX, ciencia de datos o experiencia profunda en la materia.

  • Comunicación escrita clara en inglés.

  • La experiencia en la validación de puntos de referencia, la medición del acuerdo de los calificadores, la realización de comparaciones de modelos o la ejecución de estudios de usuarios es relevante.

Compensación y beneficios

La compensación oscila entre $75 y $175 por hora, dependiendo del proyecto, el campo y el nivel de experiencia. El pago se basa en las horas trabajadas.

Ubicación

Totalmente remoto. Los proyectos pueden durar desde una semana hasta varios meses.

Rango de compensación: $156K - $364K

Publicado originalmente en Himalayas

Salario

USD 75 - 175

Mensual

Trabajo Remoto

En Todo el Mundo

Resumen del Trabajo
Trabajo Publicado:
hace 10 horas
Expiración del Trabajo:
en 1 mes
Tipo de Trabajo
Por contrato
Rol del Trabajo
Inteligencia Artificial
Educación
Licenciatura
Experiencia
3+ años
Total de Vacantes
1
Profesión
Científico

Compartir este empleo:

Ubicación

Todo el mundo

Remoto · Todo el mundo

EmpleosTech
Obtené la app de EmpleosTech Acceso rápido a empleos tech, notificaciones y soporte offline