Especialista de Engenharia de Dados

O que estará sobre seus cuidados:

Estamos em busca de uma pessoa para atuar como Especialista de Dados, desempenhando um papel fundamental na evolução da nossa plataforma de dados, na definição de padrões de engenharia e no desenvolvimento de soluções escaláveis que sustentam iniciativas de Analytics, Inteligência Artificial e transformação digital.

Você será referência técnica na construção e otimização de pipelines, arquitetura de dados e boas práticas de engenharia, atuando em um ambiente moderno baseado em Databricks e AWS.

Responsibilities

O que é importante você ter?

• Definir e evoluir arquiteturas de dados escaláveis, resilientes e eficientes para plataformas analíticas e projetos estratégicos.
• Estabelecer padrões técnicos, boas práticas e diretrizes de engenharia de dados para todo o ciclo de vida da informação.
• Projetar e implementar pipelines de dados nas camadas Bronze, Silver e Gold, garantindo qualidade, governança e rastreabilidade.
• Desenvolver e otimizar processos de ingestão, transformação e disponibilização de dados em ambientes Databricks e AWS.
• Criar e manter conectores e integrações com diferentes fontes de dados, incluindo APIs, bancos relacionais, NoSQL e sistemas corporativos.
• Desenvolver soluções reutilizáveis, frameworks e automações para aumento da produtividade e padronização do ecossistema de dados.
• Implementar controles e frameworks de qualidade de dados, assegurando consistência, integridade, completude e conformidade das informações.
• Monitorar e otimizar performance de pipelines, consultas e ambientes de processamento distribuído.
• Atuar na identificação e resolução de falhas, gargalos e problemas estruturais em ambientes produtivos.
• Estruturar e evoluir processos de catalogação, governança, rastreabilidade e controle de acesso aos ativos de dados.
• Avaliar novas tecnologias, ferramentas e abordagens arquiteturais que contribuam para a evolução contínua da plataforma de dados.
• Atuar como referência técnica para times multidisciplinares, contribuindo para disseminação de conhecimento e evolução das práticas de engenharia de dados.

Requirements

• Ensino superior completo em Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Engenharia de Dados, Engenharia de Software, Estatística, Matemática ou áreas correlatas.
• Experiência sólida em Engenharia de Dados e desenvolvimento de pipelines ETL/ELT.
• Experiência com Databricks e ecossistema AWS.
• Conhecimento avançado em SQL.
• Conhecimento avançado em Python.
• Experiência com Data Lake, Data Warehouse e arquitetura medalhão (Bronze, Silver e Gold).
• Vivência em otimização de performance, monitoramento e observabilidade de pipelines.
• Conhecimento em governança e qualidade de dados.
• Experiência com Spark, PySpark, Delta Lake e Unity Catalog.
• Vivência com integração de dados por meio de APIs e mensageria.

Será um diferencial

• Experiência no mercado segurador.
• Certificação Databricks Certified Data Engineer Associate ou Professional.
• Certificação AWS Certified Data Engineer Associate ou AWS Certified Solutions Architect.
• Conhecimento em DataOps.
• Experiência com CI/CD para pipelines de dados.
• Conhecimento em Infraestrutura como Código (Terraform).
• Vivência com streaming de dados e arquiteturas orientadas a eventos.