Ingeniero de ML y Sistemas Agentivos [IC4]

Horario y ubicación

🌎 Si bien contratamos en casi cualquier lugar del mundo, tenemos preferencia por alguien que resida en las siguientes ubicaciones para este puesto. Sin embargo, si te consideras calificado, te invitamos a postularte independientemente de tu ubicación. De todos modos, las horas de trabajo deben coincidir con la EST durante al menos 20 horas a la semana.

Ubicaciones preferidas:

• Europa
• América del Norte

Por qué este trabajo es emocionante

Sourcegraph está a la vanguardia de la creación de herramientas de IA para resolver los mayores problemas de la industria del software, problemas que solo se vuelven más grandes a medida que crecen las bases de código y a medida que más trabajo es realizado por agentes. El equipo de Comprensión de Código es responsable de las interfaces donde esa inteligencia se encuentra con el desarrollador: Deep Search, nuestro motor de respuestas multi-etapa y basado en agentes para toda la línea de bases de código de una empresa, Query Assist, que convierte consultas en lenguaje natural en sintaxis de consulta de Sourcegraph, Smart Hovers, que resume de forma concisa los símbolos justo donde los desarrolladores lo necesitan, revisión guiada de diferencias y las API en las que confían tanto los humanos como los agentes de IA a diario.

La mayor parte de lo que hace funcionar esas interfaces es la ingeniería de agentes: una combinación de ingeniería de software, aprendizaje automático y estadísticas. La ingeniería de agentes nos dice qué modelo usar y cuándo, cómo recuperar y empaquetar contexto, cómo medir la calidad de la respuesta, dónde ajustar o destilar un modelo más pequeño para reducir costos y latencia, y cómo expandir una sola llamada a LLM en un agente confiable de múltiples pasos. Como ingeniero de ML y agentes de nivel staff en Comprensión de Código, serás el propietario técnico de esto: estableciendo la dirección del equipo para modelos, evaluaciones y sistemas de agentes, haciendo que nuestros productos sean mediblemente mejores, más rápidos y más baratos, y elevando la fluidez del equipo en la creación con modelos.

Este es un puesto de nivel staff: estamos contratando un líder técnico, no solo un contribuyente individual fuerte. La necesidad principal es una autoridad en ML y evaluación de producción que también construya sistemas de agentes de producción. Serás responsable de los problemas más difíciles y ambiguos en este espacio, establecerás estándares que otros seguirán e influirás en la dirección más allá de tu equipo inmediato. Tendrás la oportunidad emocionante de impulsar la visión sobre cómo podemos proporcionar la mejor experiencia de comprensión de código del mercado combinando nuestros sistemas deterministas a gran escala y la IA en experiencias nunca antes vistas.

Concretamente, serás responsable de trabajos como:

• Sistemas de agentes. Diseñarás y fortalecerás los bucles de agentes multi-etapa y que utilizan herramientas detrás de las experiencias de agentes actuales y nuevas, convirtiendo la investigación y los experimentos en productos confiables, observables y asequibles a escala empresarial.
• Uso pragmático de las evaluaciones. Crear productos de agentes significa necesitar saber cuándo un cambio realmente ayudó, lo cual es difícil cuando los agentes cambian constantemente y el producto se modifica. Aportarás criterio sobre dónde valen la pena las evaluaciones, cuándo usar pruebas de humo específicas y métricas, y cómo evitar el ruido disfrazado de rigor, para que podamos avanzar con confianza.
• Modelos: selección, actualización y entrenamiento. Decidirás qué modelos ejecutamos y dónde, impulsarás las actualizaciones y ajustaremos los nuestros cuando sea la decisión correcta.
• Ingeniería de recuperación y contexto. Empujarás sobre cómo basamos los modelos en el código de un cliente: recuperación, clasificación, ventanas de contexto, citas, para hacer las respuestas más precisas y verificables.
• Costo y latencia. Cada interfaz tiene un presupuesto económico por usuario. Tratarás el costo y la latencia como características del producto, y perfilarás, destilarás, almacenarás en caché y dimensionarás adecuadamente los modelos para que podamos lanzar características ambiciosas de manera sostenible.

Harás esto en un equipo pequeño, con mayoría de personal senior, que lanza productos rápidamente, posee una gran superficie de producto y tiene una gestión de producto optimizada: los ingenieros aquí hablan con los clientes, enmarcan el problema y lo poseen de extremo a extremo. Tendrás una agencia real sobre la dirección técnica y una línea directa al impacto de tu trabajo.

📅 Dentro de un mes, usted…

• Tendrá los productos de Code Understanding y sus canalizaciones de modelos/agentes funcionando de extremo a extremo localmente, y realizará sus primeras mejoras en un modelo, prompt, ruta de recuperación o evaluación.
• Tendrá una imagen clara de dónde radica el problema de la ingeniería de IA y las superficies de producto más limitadas por ellos.
• Conocerá al equipo y a nuestros clientes, y comenzará a formar sus propias opiniones sobre hacia dónde deberían ir nuestros productos de agentes.
• Se unirá a la rotación de soporte on-call del equipo.

📅 Dentro de tres meses, usted…

• Será responsable de una porción significativa de agentes del producto de extremo a extremo, impulsándola desde el planteamiento del problema hasta el despliegue y la medición.
• Establecerá cómo el equipo lanza cambios de modelos y prompts de manera responsable: las evaluaciones, paneles y salvaguardas que hacen visibles las regresiones de calidad y costo antes de que los clientes las sientan.
• Comenzará a elevar el nivel de los compañeros de equipo en la creación con modelos emparejándose con ellos, revisando su código y modelando buenos instintos de ingeniería de agentes.

📅 Dentro de seis meses, usted…

• Será la autoridad técnica reconocida en ingeniería de agentes y sistemas de agentes en Code Understanding. Será la persona en la que los compañeros de equipo, y cada vez más el departamento en general, recurrirán para tomar decisiones sobre modelos, evaluaciones y diseño de agentes.
• Habrá movido mediblemente los productos: mejor calidad de respuesta, menor costo/latencia, o nuevas capacidades de agentes que antes no eran factibles.
• Estará estableciendo la dirección de la hoja de ruta del equipo en lo que respecta a los agentes, aportando convicción, respaldada por evidencia, sobre qué apuestas merecen la pena, y atrayendo a otros ingenieros para que las ejecuten.

Sobre usted

Usted es un ingeniero de nivel staff y líder técnico con habilidades ganadas con esfuerzo en ML de producción, evaluación y sistemas de agentes. Este puesto de alta palanca se basa en su capacidad para tomar decisiones sólidas de modelos y evaluación para un producto de rápido movimiento, construir los sistemas de producción a su alrededor, dirigir la dirección técnica y ser un multiplicador de fuerza para un equipo talentoso y con mentalidad de producto. Se siente igualmente cómodo razonando sobre un sistema de evaluación, una ejecución de ajuste fino, una canalización de recuperación y el bucle de agente de múltiples pasos que los une, y hace que todos a su alrededor mejoren en todo ello.

Opera a nivel de staff: usted es responsable de los problemas más ambiguos y de mayor riesgo en su dominio, se adentra en cualquier base de código que un problema requiera, establece estándares y patrones que otros adoptan, y traduce fluidamente entre los objetivos de ingeniería y los objetivos comerciales. Influye en la dirección más allá de su equipo inmediato. Lidera a través de la excelencia técnica y la mentoría.

• Usted ha sido responsable personalmente de un ciclo de vida de modelo de producción. Ha entrenado o ajustado al menos un modelo y lo ha llevado desde la construcción del conjunto de datos hasta la evaluación, el despliegue en producción y el monitoreo. Puede explicar cómo eligió entre entrenar o ajustar y solicitar o recuperar, cómo eligió las líneas base y las métricas, qué reveló el análisis de errores y cómo la evidencia de producción afectó la siguiente versión.
• Usted construye agentes, con fluidez y convicción. Ha diseñado sistemas de agentes multi-etapa y los ha hecho confiables, observables y con costos controlados. Tiene un punto de vista sobre dónde brillan los agentes y dónde se requiere código determinista o juicio humano.
• Usted tiene un fuerte criterio de evaluación. Crea conjuntos de datos representativos, líneas base significativas, taxonomías de errores útiles y criterios de lanzamiento que conectan las mediciones fuera de línea con el comportamiento en producción. Sabe dónde las evaluaciones rigurosas valen la pena, dónde son suficientes pruebas de humo ligeras o revisiones cualitativas, y dónde una métrica de apariencia precisa es engañosa.
• Usted trata el costo y la latencia como restricciones del producto. Toma decisiones medidas sobre calidad, latencia y costo, y utiliza la combinación apropiada de selección de modelo, prompting, recuperación, almacenamiento en caché, destilación y ajuste fino, en lugar de recurrir reflexivamente a un modelo más complejo.
• Usted opera de forma autónoma en problemas ambiguos. Dada una idea de producto aproximada, algunas citas de clientes y un hilo de Slack, usted regresa con un plan, un prototipo, hitos y un punto de vista sobre las compensaciones, sin que esté pre-acotado. Usted es responsable de proyectos de alto riesgo técnico de extremo a extremo.
• Usted contribuye más allá de su dominio. Como ingeniero senior, se adentra en cualquier parte de la base de código que un problema requiera, reconoce problemas más allá de su área inmediata y traduce entre los objetivos de ingeniería y los objetivos comerciales.
• Usted eleva el nivel de las personas a su alrededor. Usted mentora emparejándose en problemas difíciles, proporcionando revisiones sustantivas de diseño y código, y difundiendo la alfabetización en ingeniería de agentes en todo el equipo. Usted ve la inversión en el crecimiento de sus compañeros de equipo como parte del trabajo.
• Usted está impulsado por el cliente y el producto. Se siente cómodo en llamadas con clientes y en hilos de comentarios, convierte señales brutas en requisitos, alcances e hitos, y se opone cuando los comentarios desvían el producto.
• Usted es pragmático, no un perfeccionista. Lanza lo más pequeño y correcto, prefiere soluciones robustas a las complicadas y mantiene un alto nivel de calidad con simplicidad.

Sobre los fundamentos de ingeniería:

• Usted es un ingeniero de software sólido que puede lanzar servicios de producción.
• Se siente cómodo en toda nuestra pila: Go en el backend, TypeScript en el frontend, GraphQL, Postgres, Docker, o está claramente capacitado y ansioso por llegar allí.
• Usted tiene fluidez con las herramientas de codificación de agentes y comprende y es responsable de cada línea que envían.
• Se siente cómodo en un entorno remoto rápido, con servicios múltiples y enfocado en lo asíncrono.

Sería bueno tener:

• Ha lanzado un producto dirigido a desarrolladores, impulsado por LLM o agentes, del que puede hablar con convicción: qué funcionó, qué no, qué haría de manera diferente.
• Ha ajustado, destilado o entrenado modelos para cumplir objetivos de costo, latencia o calidad en producción.
• Experiencia con recuperación, clasificación, embeddings o relevancia de búsqueda.