Sobre a vaga
Estamos em busca de um Engenheiro de Dados Pleno para atuar no desenvolvimento e otimização de pipelines de dados, processamento de grandes volumes de informações e estruturação de Data Lakes . O profissional será responsável por trabalhar com tecnologias de Big Data, integração de dados e arquiteturas de serviços em nuvem, garantindo eficiência e escalabilidade de sistemas de dados.
Se você tem experiência com Databricks, PySpark, Data Lakes, Python e Serverless Framework , essa é a oportunidade ideal para você!
Principais responsabilidades
- Desenvolver e manter pipelines de dados e fluxos complexos de ETL para manipulação de grandes volumes de dados;
- Utilização de tecnologias de Big Data e processamento paralelo distribuído para otimização de cargas de dados;
- Trabalhar na implementação e gerenciamento de Data Lakes , garantindo organização e governança dos dados;
- Atuar na construção de soluções para infraestrutura de dados , tanto para uso interno quanto para produtos específicos ao mercado;
- Utilização Databricks, PySpark e Serverless Framework para desenvolver soluções escaláveis e eficientes;
- Versionar e gerenciar código utilizando Git para controle e colaboração em projetos de engenharia de dados;
- Integrar arquiteturas de serviços em nuvem (AWS ou Azure) para armazenamento e processamento de dados;
- Monitorar e otimizar processos de transferência, transformação e distribuição de dados .
Experiência mínima
- 3+ anos de experiência em engenharia de dados, desenvolvimento de pipelines e processamento de grandes volumes de informações;
- Experiência prática com Databricks e Data Lakes para armazenamento e processamento de dados estruturados e não estruturados;
- Conhecimento em Spark (PySpark) para processamento distribuído e paralelização de dados;
- Experiência com Python para manipulação, transformação e análise de dados;
- Experiência com Serverless Framework para desenvolvimento de soluções escaláveis e sem servidor;
- Familiaridade com versionamento de código (Git) para colaboração e rastreamento de mudanças.
Requisitos essenciais
✅ Databricks e Data Lakes: Construção e otimização de infraestrutura de dados;
✅ Spark (PySpark): Processamento distribuído e manipulação de grandes volumes de dados;
✅ Python: Desenvolvimento de scripts para ETL e automação de processos de dados;
✅ Serverless Framework: Implementação de soluções escaláveis e de alto desempenho;
✅ Manipulação de repositórios Git: Versionamento e controle de código-fonte;
✅ Governança e otimização de dados: Garantia de integridade e eficiência das informações.
Requisitos desejáveis
➕ Experiência com Apache NiFi para integração e automação de pipelines de dados;
➕ Conhecimento avançado em arquiteturas de Data Lake para organização e escalabilidade de dados;
➕ Experiência com arquiteturas de serviços em nuvem (AWS ou Azure) para processamento e armazenamento de dados;
➕ Familiaridade com stack Hadoop/Spark para manipulação e análise de dados distribuídos.
📩 Como se candidatar
Cadastre-se diretamente em no formulário abaixo.
🚀 Venha fazer parte do nosso time e construir soluções inovadoras!