Sr. Data Engineer
Resumen de la descripción del puesto: En The Coca‑Cola Company, creemos que los datos son la base para crear experiencias personalizadas e impulsar un crecimiento sostenible en el mundo digital actual. A medida que los consumidores interactúan con nuestras marcas de maneras más conectadas que nunca, estamos invirtiendo en plataformas avanzadas de datos y analítica para obtener perspectivas más profundas, acelerar la toma de decisiones y habilitar una innovación fluida a gran escala. En este rol como Sr. Data Engineer, desempeñará un papel fundamental en la configuración de cómo fluyen los datos en nuestro ecosistema empresarial. Aprovechando su profunda experiencia en Spark, desarrollo en Scala e ingeniería basada en JVM, diseñará e implementará marcos de integración que impulsen cargas de trabajo tanto por lotes como en streaming sobre Microsoft Fabric y Synapse Analytics.
Responsabilidades principales
- Diseñar y desarrollar pipelines de integración de datos y servicios de backend para datos estructurados y no estructurados, utilizando Apache Spark con Scala.
- Construir y optimizar aplicaciones de computación distribuida que ofrezcan cargas de trabajo escalables por lotes y en streaming dentro de entornos de Microsoft Fabric.
- Realizar ajustes avanzados de rendimiento en Spark, incluyendo estrategias de particionamiento, configuración de memoria, optimización de consultas y balanceo de cargas de trabajo sobre grandes volúmenes de datos.
- Desarrollar microservicios y APIs basados en REST sobre la JVM para habilitar una interoperabilidad fluida entre sistemas internos y externos.
- Diseñar código modular, comprobable y mantenible aplicando principios de programación funcional y patrones de la industria para garantizar confiabilidad y rendimiento.
- Optimizar flujos de trabajo mediante estrategias de particionamiento de datos, formatos de almacenamiento y configuraciones de plataforma para habilitar consultas de alto rendimiento y eficiencia de costos.
Rigor de ingeniería: Defienda la filosofía "You Build It, You Run It". Aplique estrictamente los principios de programación funcional y SOLID para escribir código Scala limpio, modular y comprobable.
Optimización de rendimiento: Realice ajustes profundos de rendimiento en Spark, gestionando memoria, planes de consulta, estrategias de particionamiento y optimización de capacidad para lograr cargas de trabajo por lotes y en streaming altamente eficientes dentro de Microsoft Fabric.
CI/CD y automatización: Diseñe y mantenga pipelines robustos de CI/CD utilizando GitHub Actions, Maven y SBT para automatizar las pruebas, el despliegue y la configuración de los artefactos de datos.
Calificaciones y experiencia requeridas
- Sólida competencia en programación Scala, con conocimiento demostrado de conceptos de programación funcional, modelos de concurrencia y diseño de sistemas modulares.
- Experiencia en Spark (3+ años): Experiencia profunda y práctica en la construcción, depuración y optimización de aplicaciones de computación distribuida con Apache Spark (preferiblemente Scala/Java).
- Experiencia en el diseño de modelos de datos (STAR, Vault, Tabular) para analítica.
- Experiencia en la construcción de microservicios REST sobre JVM.
- Experiencia en Synapse/Fabric (3+ años combinados): Diseño y transformación de grandes volúmenes de datos utilizando Azure Data Services (Synapse, ADF, Azure Functions, plantillas ARM).
- DevOps y CI/CD: Capacidad comprobada para construir ciclos de publicación automatizados
