Sobre a vaga
Estamos em busca de um Engenheiro de Dados Sênior para atuar no desenvolvimento e otimização de pipelines de dados, construção de Data Lakes e processamento de grandes volumes de informações. O profissional será responsável por trabalhar com tecnologias de Big Data, processamento distribuído e arquiteturas de serviços em nuvem, garantindo eficiência e escalabilidade na infraestrutura de dados.
Se você tem experiência com Databricks, PySpark, Data Lakes, Python e Serverless Framework , essa é a oportunidade ideal para você!
Principais responsabilidades
- Manipular grandes volumes de dados e desenvolver fluxos complexos de ETL;
- Trabalhar com tecnologias de Big Data e processamento paralelo distribuído para otimização de cargas de dados;
- Desenvolver soluções internacionais para infraestrutura de dados e produtos externos para o mercado;
- Participar da construção do framework da plataforma Infra.Data;
- Trabalhar na implementação e gerenciamento de Data Lakes, garantindo organização e governança dos dados;
- Utilização Databricks, PySpark e Serverless Framework para criação de pipelines escaláveis e eficientes;
- Manter e organizar repositórios Git para versionamento e controle das implementações;
- Colaborar com arquiteturas de serviços em nuvem (AWS ou Azure) para armazenamento e processamento de dados.
Experiência mínima
- 3+ anos de experiência em engenharia de dados, desenvolvimento de pipelines e processamento de grandes volumes de informações;
- Experiência com Databricks e Data Lakes para organização e otimização de dados;
- Proficiência em Spark (PySpark) para processamento paralelo distribuído;
- Experiência com Python para manipulação, transformação e análise de dados;
- Conhecimento em Serverless Framework para automação e escalabilidade de pipelines de dados;
- Habilidade na manipulação de repositórios Git para versionamento e colaboração.
Requisitos essenciais
✅ Databricks e Data Lakes: Construção e otimização de ambientes de dados;
✅ Spark (PySpark): Processamento distribuído e manipulação de grandes volumes de dados;
✅ Python: Desenvolvimento de scripts e automação de processos de dados;
✅ Serverless Framework: Implementação de soluções escaláveis e sem servidor;
✅ Manipulação de repositórios Git: Versionamento e controle de código-fonte;
✅ Governança e otimização de dados: Garantia de qualidade, integridade e eficiência das informações.
Requisitos desejáveis
➕ Experiência com Apache NiFi para fluxo e automação de dados;
➕ Conhecimento avançado em arquiteturas de Data Lake para escalabilidade e desempenho;
➕ Experiência em arquiteturas de serviços em nuvem (AWS ou Azure) para processamento e armazenamento de dados;
➕ Familiaridade com stack Hadoop/Spark para gerenciamento e análise de dados distribuídos.
📩 Como se candidatar
Cadastre-se diretamente em no formulário abaixo.
🚀 Venha fazer parte do nosso time e construir soluções inovadoras!