Entrenador de QA de IA – Evaluación de LLM

¿Es usted un experto en QA de IA con ganas de dar forma al futuro de la IA? Los modelos de lenguaje a gran escala están evolucionando de simples chatbots a plataformas de nivel empresarial. Con datos de evaluación rigurosos, la IA del mañana puede democratizar la educación de clase mundial, mantenerse al día con la investigación de vanguardia y optimizar los flujos de trabajo para equipos de todo el mundo. Esa calidad comienza con usted: necesitamos su experiencia para fortalecer el razonamiento y la confiabilidad del modelo.

Estamos buscando formadores de QA de IA que vivan y respiren la evaluación de modelos, la seguridad de LLM, la robustez de los prompts, el aseguramiento de la calidad de los datos, las pruebas multilingües y específicas del dominio, la verificación de la vinculación y las comprobaciones de cumplimiento/preparación. Desafiará a los modelos de lenguaje avanzados en tareas como la detección de alucinaciones, la consistencia fáctica, la resistencia a la inyección de prompts y al jailbreak, las auditorías de sesgo/equidad, la confiabilidad de la cadena de razonamiento, la corrección del uso de herramientas, la fidelidad de la recuperación aumentada y la validación de flujos de trabajo de extremo a extremo, documentando cada modo de falla para que podamos elevar el listón.

En un día típico, conversará con el modelo sobre escenarios del mundo real y prompts de evaluación, verificará la precisión fáctica y la solidez lógica, diseñará y ejecutará planes de prueba y suites de regresión, creará rúbricas claras y criterios de aprobación/fallo, capturará rastros de error reproducibles con hipótesis de causa raíz y sugerirá mejoras en la ingeniería de prompts, las barreras de seguridad y las métricas de evaluación (por ejemplo, precisión/recuperación, fidelidad, toxicidad y SLO de latencia). También colaborará en la detección adversaria (red-teaming), la automatización (Python/SQL) y la creación de paneles para rastrear las diferencias de calidad a lo largo del tiempo.

Un título de licenciatura, maestría o doctorado en informática, ciencia de datos, lingüística computacional, estadística o un campo relacionado es ideal; la experiencia en QA para sistemas de ML/IA, experiencia en seguridad/red-teaming, marcos de automatización de pruebas (por ejemplo, PyTest) y trabajo práctico con herramientas de evaluación de LLM (por ejemplo, OpenAI Evals, evaluadores RAG, W&B) indican una buena adaptación. Las habilidades que destacan incluyen: diseño de rúbricas de evaluación, pruebas adversarias/red-teaming, pruebas de regresión a escala, auditorías de sesgo/equidad, verificación de vinculación, ingeniería de prompts y prompts de sistema, automatización de pruebas (Python/SQL) y reporte de errores de alta señal. La comunicación clara y metacognitiva, que "muestre su trabajo", es esencial.

¿Está listo para convertir su experiencia en QA en la columna vertebral de calidad para la IA del mañana? Postúlese hoy mismo y comience a enseñar al modelo que enseñará al mundo.

Ofrecemos un rango salarial de $6 a $65 por hora, y la tarifa exacta se determinará después de evaluar su experiencia, conocimientos y ubicación geográfica. Los montos de las ofertas finales pueden variar del rango salarial indicado anteriormente. Como contratista, usted proporcionará una computadora segura e internet de alta velocidad; los beneficios patrocinados por la empresa, como seguro médico y PTO, no se aplican.

Tipo de empleo: Contrato

Tipo de lugar de trabajo: Remoto

Nivel de antigüedad: Nivel Intermedio-Senior

Publicado originalmente en Himalayas