Na Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global. Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui! Junte-se a nós e seja parte da mudança! #LI-MG#LI-REMOTE
O que esperamos que você realize:
Estamos buscando um Ingeniero de Datos Pleno para atuar en la migración de tablas y pipelines del entorno Cloudera Hadoop a AWS, actuando de extremo a extremo, desde el levantamiento inicial hasta la estabilización en producción.
Responsabilidades:
Mapear el entorno actual: relevar jobs, pipelines y consultas en HQL en Cloudera, además de las rutinas de orquestación en Shell Script.
Convertir las consultas HQL a Amazon Athena, AWS Glue o Amazon EMR, eligiendo el servicio más adecuado según el caso de uso (costo, rendimiento, patrón de acceso).
Rediseñar las rutinas de orquestación en Shell Script para servicios gestionados de AWS como Step Functions, Lambda, EventBridge y MWAA/Airflow.
Modelar el data lake de destino en Amazon S3 (zonas raw/trusted/refined) y, cuando corresponda, en Amazon Redshift.
Lo que necesitamos que tengas de conocimiento:
Experiencia con Cloudera Hadoop, HQL, Shell Script, Amazon Athena, AWS Glue, Amazon EMR, AWS Step Functions, AWS Lambda, Amazon EventBridge, Amazon MWAA/Airflow, Amazon S3, Amazon Redshift.
Diferenciales:
Experiencia con migración de datos y pipelines entre diferentes entornos.
Conocimiento en otras tecnologías de Big Data y Cloud.
🍛 Vale de alimentación o vale comida;
👨🏼🎓 Descuento en cursos, universidades e instituciones de idiomas;
📚 Academia Stefanini: plataforma con cursos en línea, gratuitos, actualizados y con certificado;
🗣 Mentoring;
💉 Club de ventajas para consultas y exámenes;
🏥 Asistencia médica;
🦷 Asistencia odontológica;
💰 Club de ventajas y descuentos en los mejores establecimientos;
🛫 Club de viajes;
🐶 Convenio para mascotas.
