Título del puesto: Miembro del personal técnico, Investigación y evaluaciones de agentes de codificación
Tipo de puesto: Jornada completa
Ubicación: Remoto
El puesto
Buscamos un Miembro del personal técnico para ayudar a avanzar en la evaluación y el desarrollo de agentes de codificación de vanguardia. Situado en la intersección de la investigación de IA, la ingeniería de software y la evaluación de modelos, diseñará los puntos de referencia, las metodologías y los sistemas de datos que configuran cómo se miden y mejoran los modelos de codificación de próxima generación.
Lo que harás
- Diseñar y ser responsable de los marcos de evaluación para agentes de codificación, incluidas las especificaciones de los puntos de referencia, las metodologías de puntuación, las rúbricas y los estándares de calidad.
- Liderar iniciativas de investigación de extremo a extremo centradas en medir y mejorar el rendimiento de los modelos de codificación en diversas tareas de ingeniería de software.
- Desarrollar conjuntos de datos de alta calidad, ejemplos de referencia y protocolos de evaluación que permitan una evaluación fiable de los sistemas de codificación de vanguardia.
- Analizar el comportamiento de los modelos y los modos de fallo, identificando debilidades sistemáticas y traduciendo los hallazgos en mejoras prácticas para la formación y la evaluación.
- Crear herramientas e infraestructura que respalden la experimentación a gran escala, la generación de datos, los flujos de trabajo de revisión y los pipelines de evaluación.
- Establecer las mejores prácticas para la evaluación de agentes de codificación, garantizando el rigor metodológico, la reproducibilidad y la calidad de la medición.
- Colaborar estrechamente con investigadores, ingenieros y equipos de IA aplicada para diseñar experimentos y evaluar las capacidades emergentes de los modelos.
- Contribuir a informes técnicos, estudios de puntos de referencia e iniciativas de investigación dirigidas a clientes que comuniquen el rendimiento y las perspectivas de los modelos.
Lo que buscamos
- Sólida formación en ingeniería de software con experiencia en Python, C++ o lenguajes de programación comparables.
- Más de 3 años de experiencia en ingeniería de software, aprendizaje automático, investigación de IA, evaluación o disciplinas técnicas relacionadas.
- Experiencia en el diseño, revisión o validación de evaluaciones técnicas, puntos de referencia, tareas de codificación o metodologías de evaluación.
- Familiaridad con modelos de lenguaje grandes, agentes de codificación, aprendizaje por refuerzo, evaluación de modelos o sistemas de IA relacionados.
- Capacidad demostrada para crear herramientas, automatizar flujos de trabajo y mejorar procesos técnicos mediante la experimentación sistemática.
- Sólidas habilidades analíticas con la capacidad de investigar el comportamiento de los modelos y obtener información de sistemas técnicos complejos.
- Excelentes habilidades de comunicación escrita y verbal, incluida la capacidad de articular claramente los hallazgos técnicos a diversas audiencias.
- Comodidad para operar en entornos de investigación de rápida evolución con ambigüedad significativa y prioridades cambiantes.
Preferible
- Experiencia trabajando en sistemas de IA de vanguardia, agentes de codificación o investigación de evaluación de modelos.
- Profundo interés en comprender cómo los datos, las evaluaciones y los mecanismos de retroalimentación influyen en las capacidades de los modelos.
- Historial de impulso independiente de proyectos técnicos o de investigación ambiguos desde la concepción hasta la ejecución.
- Experiencia en el diseño de puntos de referencia o conjuntos de datos para sistemas de aprendizaje automático a escala.
- Familiaridad con flujos de trabajo de agentes, uso de herramientas, aprendizaje por refuerzo o metodologías posteriores al entrenamiento.
- Publicaciones, contribuciones de código abierto o liderazgo técnico demostrado en IA, aprendizaje automático o ingeniería de software.
Aviso de compensación y beneficios
El rango salarial nacional para este puesto a tiempo completo es de un salario base de $200,000 – $260,000 USD. Todos los empleados son elegibles para compensación en acciones, y los empleados también pueden recibir bonificaciones basadas en el rendimiento, dependiendo del puesto y sujeto a las políticas de la empresa. micro1 proporciona un paquete integral de beneficios, que incluye el reembolso hasta el 100% de las primas del seguro médico, tiempo libre remunerado, un plan 401(K) con una contrapartida de la empresa y beneficios adicionales diseñados para apoyar a una fuerza laboral remota y de alto rendimiento.
micro1 es un empleador que ofrece igualdad de oportunidades. Todos los solicitantes calificados recibirán consideración para el empleo sin distinción de raza, color, religión, sexo (incluido el embarazo, la orientación sexual o la identidad de género), origen nacional, edad, discapacidad, información genética, condición de veterano o cualquier otra característica protegida por las leyes, regulaciones y ordenanzas locales aplicables. Si necesita ayuda y/o una adaptación razonable durante el proceso de solicitud, póngase en contacto con .
Nuestro proceso de contratación utiliza herramientas de inteligencia artificial para ayudar en la selección y evaluación de candidatos. Nuestras herramientas de IA están diseñadas para complementar, no reemplazar, la toma de decisiones humana.
Publicado originalmente en Himalayas