Ingeniero de Desarrollo de Software II, SageMaker AI Inference
La demanda de inferencia para modelos de lenguaje de gran tamaño (LLM) está creciendo rápidamente, y los ingenieros que la hacen más rápida y eficiente están dando forma al futuro de la IA en Amazon. Buscamos un Ingeniero de Desarrollo de Software enfocado en la optimización del rendimiento de la inferencia, el ajuste de kernels y la eficiencia en el servicio de LLM. Trabajarás a lo largo de todo el ciclo de vida del desarrollo de software para diseñar, construir y medir sistemas que reduzcan la latencia y mejoren el rendimiento de las cargas de trabajo de inferencia en producción. Este es un rol de ingeniería práctico, en el que tu trabajo se traduce directamente en un mejor rendimiento para los equipos internos y, en última instancia, para los clientes de Amazon. Si eres un ingeniero al que le gusta analizar cuellos de botella, escribir código de alto rendimiento y encontrar soluciones elegantes para problemas difíciles de sistemas, queremos conversar contigo.
Responsabilidades principales del puesto
- Diseñar e implementar optimizaciones a nivel de kernel y mejoras en los pipelines de inferencia que reduzcan la latencia y aumenten el rendimiento de las cargas de trabajo de servicio de LLM.
- Perfilar, evaluar comparativamente y ajustar el rendimiento de la inferencia de modelos en distintas pilas de hardware y software, identificando cuellos de botella y entregando mejoras medibles.
- Escribir código bien organizado y mantenible, participar activamente en revisiones de código, brindar retroalimentación constructiva a los colegas y orientar a los ingenieros más nuevos del equipo.
- Colaborar con científicos aplicados, ingenieros de ML y equipos de infraestructura para traducir los requisitos de los modelos en soluciones de inferencia listas para producción.
- Evaluar herramientas, frameworks y técnicas emergentes de IA generativa para la optimización de la inferencia, recomendando su adopción cuando mejoren la eficiencia o la calidad.
Un día en la vida
Puedes empezar tu mañana revisando los resultados de evaluaciones de rendimiento de una ejecución de perfilado nocturna, y luego profundizar en la implementación de un kernel para reducir unos milisegundos de una ruta crítica de inferencia. Después del almuerzo, podrías trabajar en pareja con un científico aplicado para entender el perfil de cómputo de una nueva arquitectura de modelo y planificar tu enfoque de optimización. Durante el día participarás en revisiones de código, documentarás tus decisiones de diseño y compartirás hallazgos con el equipo más amplio, para que las mejoras se acumulen entre proyectos.
Sobre el equipo
Nuestro equipo es responsable de la inferencia de SageMaker AI en Amazon, y la optimización del rendimiento de la inferencia es cada vez más importante a medida que crecen las cargas de trabajo de LLM. La optimización del rendimiento es uno de nuestros diferenciadores clave, y cada mejora que lanzamos tiene un impacto directo en el costo, la velocidad y la experiencia que reciben nuestros clientes. Valoramos la colaboración, la profundidad técnica y una cultura en la que se escucha la perspectiva de cada ingeniero. Si quieres resolver problemas difíciles de sistemas en un entorno que premia la curiosidad y la ingeniería rigurosa, este es el equipo para ti.
- 3+ años de experiencia profesional en desarrollo de software (no de prácticas)
- 2+ años de experiencia no de prácticas en diseño o arquitectura (patrones de diseño, confiabilidad y escalamiento) de nuevos
