Analista de Engenharia de Dados III
Estamos buscando um Engenheiro de Dados Sênior para atuar com grandes volumes de dados em um ambiente altamente escalável, utilizando principalmente Apache Spark/Python em Databricks. Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes.
Entre as Principais Atividades, Destacam-se
* Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput).
* Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.
* Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake.
* Conhecimento de git controle de versionamento, pull requests.
* Análise, melhoria e otimização de custos e performance em Databricks.
* Implementar Data Quality.
* Criar documentação clara das demandas.
* Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança.
* Experiência com Databricks para processamento, transformação e análise de grandes volumes de dados.
* Conhecimento sólido em processos de ETL/ELT, garantindo a integração, qualidade e disponibilidade das informações.
* Experiência em Engenharia de Dados, com desenvolvimento, manutenção e otimização de pipelines escaláveis.
* Vivência em arquitetura e modelagem de dados, assegurando a estruturação eficiente das informações.
* Experiência na integração de dados provenientes de múltiplas fontes e sistemas.
* Atuação em ambientes Cloud e ecossistemas de Big Data.
* Conhecimento de boas práticas de governança, qualidade, segurança e performance de dados.
* Capacidade de desenvolver soluções robustas e escaláveis alinhadas às necessidades do negócio.
* Perfil analítico, com habilidade para identificar oportunidades de melhoria e otimização de processos de dados.
* Facilidade para atuar em times multidisciplinares e traduzir demandas de negócio em soluções técnicas eficientes.
A Serasa Experian é muito mais do que você imagina. Com o propósito de criar um futuro melhor, ampliando oportunidades para pessoas e empresas, no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui, cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama, estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais, prezando pelo bem-estar.
A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país, possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work™ em 24 países e pela certificação internacional Top Employers, além de sermos reconhecidos como uma das melhores empresas para jovens prof
