Pessoa Engenheira de Dados - Sênior

Buscamos uma Pessoa Engenheira de Dados Sênior para desenvolver soluções de integração e processamento de dados, com foco em qualidade, desempenho e confiabilidade.

Seu desafio será transformar dados de diferentes origens em informações consistentes, rastreáveis e prontas para consumo por aplicações e áreas de negócio. A atuação envolve a construção de pipelines, a organização de camadas de dados e a implementação de regras de transformação e validação.

Você trabalhará em parceria com arquitetura, desenvolvimento, qualidade e áreas de negócio, com participação direta na implementação, nas revisões técnicas e na evolução da solução.

Responsibilities

- Desenvolver e evoluir pipelines de ingestão, transformação e disponibilização de dados, seguindo boas práticas de engenharia.
- Implementar modelos e transformações com SQL e Python, além de fluxos de orquestração com controle de dependências e tratamento de falhas.
- Preservar os dados recebidos e sua origem, garantindo rastreabilidade, controle de versões e possibilidade de reprocessamento.
- Implementar validações estruturais e de negócio, deduplicação e reconciliação, registrando inconsistências de forma compreensível para as áreas responsáveis.
- Traduzir regras de negócio em transformações e cálculos reproduzíveis, com atenção à precisão e à documentação dos resultados.
- Disponibilizar dados e arquivos para sistemas consumidores, respeitando contratos versionados, integridade e compatibilidade entre aplicações.
- Construir rotinas idempotentes e mecanismos de recuperação, evitando duplicidade ou perda de dados em reexecuções e falhas de publicação.
- Otimizar consultas, particionamento e processamento distribuído, acompanhando desempenho, consumo de recursos e custo das execuções.
- Criar testes automatizados de dados e de contrato, monitorar pipelines e investigar falhas junto aos times envolvidos.
- Documentar regras e contratos, participar de revisões de código e apoiar o desenvolvimento técnico do time.

Requirements

Formação:

Superior completo: todos os cursos são bem vindos!

Conhecimento necessários:

- Experiência sólida em engenharia de dados, com atuação prática na construção e sustentação de pipelines em produção no databricks
- Domínio de SQL e experiência com Python para tratamento e integração de dados.
- Experiência com processamento distribuído, organização de camadas de dados e armazenamento de grandes volumes de informação.
- Experiência com ferramentas de transformação e orquestração de dados, incluindo testes, documentação, dependências e tratamento de falhas.
- Vivência com armazenamento em nuvem e boas práticas de organização, acesso e publicação de dados.
- Conhecimento de modelagem de dados, cargas incrementais, evolução de schemas, qualidade e reconciliação de dados.
- Capacidade de projetar processamentos rastreáveis e reexecutáveis, com controle de identidade, versão e integridade do conteúdo.
- Prática com Git, revisão de código, testes automatizados e integração e entrega contínuas.
- Autonomia para investigar problemas e propor melhorias, com comunicação clara para discutir regras e resultados com pessoas de tecnologia e negócio.