Ingeniero DevOps Senior - Databricks / CI-CD

.

• Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, garantindo a promoción automatizada y auditable de artefactos entre los ambientes de desarrollo, homologación y producción;
• Estandarizar el empaquetado y el despliegue de workloads con Databricks Asset Bundles (DABs), proporcionando plantillas reutilizables y escalables para los dominios de datos;
• Definir la estrategia de control de versiones (Git), las políticas de branching (trunk-based, GitFlow o equivalente), el flujo de revisiones de código (code review), el versionado y el release de la plataforma en el repositorio corporativo (Bitbucket, GitHub o GitLab);
• Definir e implementar gitflows y quality gates automatizados en la esteira: pruebas unitarias y de integración, validación de contratos de datos, análisis estático de código, lint y cobertura mínima como requisito previo para el merge;
• Garantizar la estructuración y modularización de proyectos, el empaquetado de bibliotecas en Python (construcción de archivos .wheel) y su publicación en un artifact registry;
• Difundir buenas prácticas de ingeniería de software, automatización y gobernanza, actuando como referencia técnica y apoyando a las squads de datos en los despliegues de los pipelines;
• Monitorear la salud, estabilidad y observabilidad de las esteiras y de los artefactos de la plataforma Lakehouse en producción.

• Sólida experiencia y madurez profesional en DevOps o DataOps, con actuación en la concepción, implementación y sostenimiento de esteiras de CI/CD de extremo a extremo;

• Dominio en la implementación de esteiras de CI/CD en Jenkins, incluyendo la definición de estrategias de despliegue, rollback y versionado de releases;
• Dominio avanzado del control de versiones con Git, estrategias de branching (trunk-based, GitFlow), pull requests, code review y protección de ramas;
• Conocimiento avanzado de ingeniería de software con Python o Groovy, con experiencia práctica en estructuración/modularización de proyectos, empaquetado de bibliotecas (.wheel) y publicación en repositorio de artefactos;
• Experiencia práctica en la creación y automatización de pruebas unitarias y de integración aplicadas a pipelines de datos utilizando Pytest (o equivalente), con uso de mocks, fixtures y métricas de cobertura de código;
• Experiencia sólida con ecosistemas de nube AWS o Azure aplicados al contexto de plataformas de datos (gestión de identidad/IAM, almacenamiento, redes y servicios gestionados).
• Deseables: Experiencia práctica con Databricks Asset Bundles (DABs), Databricks CLI y Databricks Repos; Experiencia en proyectos de migración de Data Warehouse legado a arquitectura Lakehouse Databricks; Conocimiento en observabilidad y monitoreo de pipelines e infraestructura con herramientas como Datadog o similares; Conocimiento en Infraestructura como Código (IaC) con Terraform; Experiencia con otras herramientas de esteira como Bitbucket Pipelines, GitLab CI o GitHub Actions.

Información adicional

#remote

Originally posted on Himalayas