Engenharia de Dados Sênior| Remota - 134795 (Alphaville - Barueri, BR, 06.454-00

Lo que buscamos:

Buscamos un(a) Ingeniero(a) de Datos Senior para integrar el equipo de Lakehouse Platform, actuando en la construcción de un Enterprise Lakehouse basado en Databricks, estructurado bajo los principios de Data Mesh. Buscamos un profesional con sólida experiencia en plataformas de datos, gobernanza, automatización y arquitectura moderna, capaz de contribuir en la definición de los estándares, frameworks y fundamentos tecnológicos que soportarán la estrategia de datos de la organización.

Responsabilidades:

• Colaborar en la construcción y evolución de la plataforma Enterprise Lakehouse basada en Databricks y Data Mesh;
• Implementar y administrar el Unity Catalog como capa central de gobernanza de datos;
• Estructurar el intercambio de datos entre dominios utilizando Delta Sharing;
• Desarrollar estándares de ingesta de datos en batch y streaming para utilización por los dominios de negocio;
• Construir y evolucionar la arquitectura medallón (Bronce, Plata y Oro) para procesamiento de datos;
• Desarrollar frameworks de Data Contracts y Data Quality para la plataforma;
• Estructurar y automatizar flujos de CI/CD para entornos Databricks;
• Implementar automatizaciones de infraestructura utilizando prácticas de Infrastructure as Code (IaC);
• Integrar la plataforma Databricks al ecosistema Data Mesh existente en AWS;
• Garantizar la interoperabilidad entre catálogos, servicios y modelos de gobernanza de datos;
• Participar en decisiones de arquitectura, definición de estándares técnicos y evolución de la plataforma;
• Producir documentación técnica y apoyar el desarrollo técnico del equipo;
• Contribuir a la Observabilidad, monitoreo, performance y gobernanza de los entornos de datos.

Requisitos Obligatorios:

• Experiencia sólida con la plataforma Databricks, incluyendo administración de WorkSpaces, clusters, Jobs y workflows;
• Experiencia con Unity Catalog, incluyendo gobernanza, modelo de permisos, linaje, external locations e integración con Storage;
• Conocimiento avanzado en Delta Lake y arquitectura medallón (Bronce, Plata y Oro);
• Experiencia en la implementación de procesos de ingesta de datos en batch y streaming;
• Experiencia con CI/CD para Databricks, utilizando Databricks Asset Bundles, Repos y herramientas como GitHub Actions, Azure DevOps o similares;
• Experiencia con servicios AWS, incluyendo S3, Glue, Lake Formation, EMR (EC2 y Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS y EventBridge;
• Conocimiento en Infrastructure as Code utilizando Terraform, incluyendo el Provider Databricks;
• Dominio de Python y PySpark para desarrollo de pipelines y automatizaciones;
• Conocimiento avanzado en SQL;
• Experiencia con Data Contracts y plataformas de metadatos, como OpenMetadata;
• Experiencia con monitoreo y Observabilidad utilizando DataDog;
• Conocimiento en arquitectura y gobernanza de datos en entornos corporativos;
• Capacidad de actuar en entornos colaborativos, conduciendo discusiones técnicas y decisiones arquitectónicas;
• Experiencia en iniciativas de Data Mesh, incluyendo dominios de datos, Data Products y gobernanza federada.

Requisitos Diferenciales:

• Experiencia en iniciativas de Data Mesh, incluyendo dominios de datos, Data Products y gobernanza federada;
• Experiencia en el mercado financiero, de crédito o servicios financieros;
• Conocimiento en observabilidad y monitoreo de plataformas de datos, métricas de jobs y calidad de datos;
• Experiencia con prácticas de FinOps aplicadas a entornos Databricks, incluyendo monitoreo y optimización de costos;
• Experiencia con Delta Sharing en escenarios cross-company, cross-cloud o cross-region;
• Certificaciones AWS, como Data Engineer Associate o Solutions Architect;
• Certificaciones Databricks, como Data Engineer Associate, Data Engineer Professional o Platform Administrator;
• Conocimiento en estándares abiertos de contratos de datos, como Open Data Contract Standard (ODCS/ODPS);
• Experiencia con plataformas modernas de gobernanza, intercambio y monetización de datos;
• Experiencia en la construcción de plataformas corporativas de datos a gran escala.

Descripción comportamental:

Buscamos una persona que:

• Le guste trabajar en equipo y sea colaborativa en sus atribuciones;
• Tenga coraje para desafiarse y ir más allá, abrazando nuevas oportunidades de crecimiento;
• Transforme ideas en soluciones creativas y busque calidad en toda su rutina;
• Tenga habilidades de resolución de problemas;
• Posea habilidad y se sienta cómoda para trabajar de forma independiente y gestionar su propio tiempo;
• Tenga interés en lidiar con situaciones adversas e innovadoras en el ámbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT

Publicado originalmente en Himalayas