Remote Jobs RockRemote Jobs Rock

Zé Delivery | Engenheiro(a) de Dados Pleno

🕒 14 days ago
PythonSQLSparkData Pipelines

📜 Description

  • Develop, maintain, and evolve data pipelines.
  • Integrate data from relational databases, events, messaging, and files.
  • Structure and process data in the Bronze layer.
  • Enhance team autonomy over pipelines currently dependent on the corporate data team.
  • Define, review, and validate the infrastructure of jobs, workflows, and pipelines used by the squad.
  • Collaborate with Analytics Engineers to build and maintain analytical data models.

🛠️ Requirements

  • Domínio de Python aplicado à construção de pipelines, integrações ou automações.
  • Domínio de SQL para consulta, transformação e modelagem de dados.
  • Conhecimento prático de Spark/PySpark ou tecnologia equivalente de processamento distribuído.
  • Experiência na construção e manutenção de pipelines de dados.
  • Experiência com integração de fontes como bancos relacionais, arquivos, APIs, eventos ou mensageria.
  • Experiência com plataformas modernas de dados ou arquiteturas lakehouse.
  • Conhecimento de Git, pull requests e práticas de revisão de código.
  • Experiência com tratamento de erros, retries, reprocessamento e backfill.
  • Conhecimento prático de testes, observabilidade e monitoramento de pipelines.
  • Databricks, Delta Lake e Unity Catalog.
Full job description

Atualmente a nossa Cultura passa por um processo de transformação e evolução. A nossa história e o nosso jeito de ser são marcados por sonhos grandes que nos trouxeram até aqui e que nos enchem de orgulho! Mas acreditamos que o momento de evoluir é sempre o agora e poder fazer isso junto com a nossa gente é o que torna nossa jornada ainda mais incrível.


Nossa cultura honra o passado e hoje também é norteada por 3 principais valores que nos guiam para sermos uma cia cada vez mais inclusiva, diversa, colaborativa, tecnológica e conectada ao futuro do mundo e da nossa plataforma de negócios, são eles: Escuta Ativa, Colaboração e Visão de Longo Prazo, cada um abarcando outras competências que fazem parte do nosso jeito de ser.


Nos orgulhamos da nossa capacidade de realização e paixão que nos trouxeram até aqui e para continuarmos a evoluir juntos te convidamos a fazer parte também dessa jornada. Prazer, somos a Ambev e adoraríamos te ter com a gente. Vamos juntos?!

Responsibilities

O Zé Labs busca uma pessoa para atuar como Engenheiro(a) de Dados Pleno, com autonomia para conduzir temas de Engenharia de Dados e Analytics Engineering no dia a dia do squad. A posição será responsável por ampliar a autonomia do time sobre pipelines, ingestão, qualidade e observabilidade, garantindo que os dados utilizados nos produtos analíticos estejam disponíveis, confiáveis, documentados e estruturados de forma sustentável.

A pessoa atuará em parceria com os Analytics Engineers na construção e manutenção de modelos analíticos, incluindo as camadas Silver e semântica. Contará com o apoio do chapter de Engenharia de Dados e do time corporativo de Dados nos temas de maior complexidade.

Responsabilidades:

• Desenvolver, manter e evoluir pipelines de dados.

• Integrar dados provenientes de bancos relacionais, eventos, mensageria e arquivos.

• Estruturar e tratar dados na camada Bronze.

• Ampliar a autonomia do Zé Labs sobre pipelines e processos atualmente dependentes do time corporativo de Dados.

• Definir, revisar e validar a infraestrutura de jobs, workflows e pipelines utilizados pelo squad.

• Construir e manter modelos de dados analíticos em conjunto com os Analytics Engineers, incluindo camadas Silver e semântica.

• Revisar códigos e soluções técnicas, promovendo boas práticas de engenharia.

• Orientar e apoiar o desenvolvimento técnico de profissionais mais juniores.

• Implementar e evoluir mecanismos de observabilidade, como logs, métricas, alertas e monitoramento da saúde dos pipelines.

• Investigar falhas, inconsistências e problemas de performance nos processos de dados.

• Implementar práticas de resiliência, incluindo tratamento de erros, retries, idempotência, reprocessamento e backfills.

• Documentar fontes, pipelines, modelos, regras de negócio, dependências e contratos de dados.

• Contribuir para a definição de SLAs, critérios de atualização e padrões de qualidade dos dados.

• Avaliar impactos downstream antes de realizar alterações em schemas, pipelines ou modelos.

• Participar da priorização e organização do backlog técnico em parceria com o Data Manager/Data PM.

• Participar de discussões técnicas com o chapter de Engenharia de Dados, o time de plataforma e demais stakeholders.

Domínio Técnico (Hard Skills)

• Domínio de Python aplicado à construção de pipelines, integrações ou automações.

• Domínio de SQL para consulta, transformação e modelagem de dados.

• Conhecimento prático de Spark/PySpark ou tecnologia equivalente de processamento distribuído.

• Experiência na construção e manutenção de pipelines de dados.

• Experiência com integração de fontes como bancos relacionais, arquivos, APIs, eventos ou mensageria.

• Experiência com plataformas modernas de dados ou arquiteturas lakehouse.

• Conhecimento de Git, pull requests e práticas de revisão de código.

• Experiência com tratamento de erros, retries, reprocessamento e backfill.

• Conhecimento prático de testes, observabilidade e monitoramento de pipelines.

Diferenciais (Nice to Have)

• Databricks, Delta Lake e Unity Catalog.

• AWS e serviços de dados em cloud.

• Databricks Workflows, Airflow ou ferramentas equivalentes de orquestração.

• Arquitetura medallion, incluindo as camadas Bronze, Silver e analíticas.

• CI/CD aplicado a pipelines de dados.

• Contratos de dados, schema evolution e análise de impacto.

• Otimização de jobs, particionamento, compactação e custos de processamento.

• Práticas de segurança, gestão de credenciais, acesso mínimo e proteção de dados.

Requirements

    • Ensino superior completo. Formações em Tecnologia, Computação, Engenharia, Estatística, Matemática ou áreas relacionadas são referências, sem caráter eliminatório.

    • Preferencialmente, três anos ou mais de experiência em Engenharia de Dados, Analytics Engineering ou áreas correlatas.

    • Disponibilidade para atuação remota.

Trusted by Remote Workers