Build and evolve a large-scale data platform by developing reliable Azure pipelines, maintaining its analytics layer, modeling performance indicators, and ensuring data is accurate and ready for business decisions.
ENGENHEIRO DE DADOS SÊNIOR
📜 Description
- Atuar como referência técnica da Plataforma Analytics corporativa baseada em Azure.
- Projetar, evoluir e sustentar serviços de dados para iniciativas de Analytics, IA e Ciência de Dados.
- Definir padrões de arquitetura, desenvolvimento, observabilidade, segurança e governança.
- Gerenciar e otimizar Azure Data Factory, Databricks, Lakehouse e outros componentes da plataforma.
- Automatizar e evoluir processos de CI/CD, versionamento e gestão de artefatos.
- Garantir confiabilidade, disponibilidade, escalabilidade e desempenho, além de otimizar custos de infraestrutura e processamento.
🛠️ Requirements
- Graduação completa em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou áreas correlatas.
- Experiência sólida em engenharia de dados e administração de plataformas analíticas em Azure.
- Experiência avançada com Azure Data Factory, Azure Databricks, Azure Data Lake Storage, Spark, Python e SQL.
- Conhecimento de arquitetura Lakehouse e experiência na definição e governança de padrões corporativos de engenharia de dados.
- Experiência com Data Quality, observabilidade, monitoramento e troubleshooting de plataformas.
- Experiência em otimização de desempenho e custos em ambientes de dados e vivência com metodologias ágeis.
- Capacidade de atuar como referência técnica para engenheiros de dados em diferentes squads e unidades de negócio.
- Desejável: Azure DevOps, Kafka, processamento de streaming, governança de dados e certificações de Data Engineer ou correlatas.
Full job description
Na Brasilprev, nosso propósito é: Transformar o jeito como o brasileiro se prepara para o futuro!
Somos a maior empresa de previdência privada do país e estamos em busca de um profissional proativo, colaborativo, com boas ideias e mão na massa.
Se você tem experiência com Azure Data Factory e Databricks, é você quem procuramos!
Venha fazer parte do nosso time!!!
Responsibilities
- Atuar como referência técnica da Plataforma Analytics corporativa baseada em Azure.
- Projetar, evoluir e garantir a sustentação dos serviços de dados que suportam as iniciativas de Analytics, IA e Ciência de Dados.
- Definir e implementar padrões de arquitetura, desenvolvimento, observabilidade, segurança e governança para a plataforma.
- Gerenciar e otimizar ambientes Azure Data Factory, Databricks, Lakehouse e demais componentes da plataforma de dados.
- Atuar na automação e evolução dos processos de CI/CD, versionamento e gestão de artefatos.
- Garantir a confiabilidade, disponibilidade, escalabilidade e desempenho das soluções de dados.
- Liderar tecnicamente iniciativas de modernização da plataforma e adoção de novas tecnologias.
- Apoiar times de Engenharia, Analytics, Ciência de Dados e IA na utilização eficiente dos recursos da plataforma.
- Atuar na gestão e otimização dos custos de infraestrutura e processamento (FinOps).
- Realizar avaliações técnicas, provas de conceito e recomendações para evolução tecnológica do ecossistema de dados.
- Contribuir para o fortalecimento da cultura Data Driven por meio da disseminação de boas práticas e capacitação técnica.
Requirements
Formação/ Experiência
- Graduação completa em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou áreas correlatas.
Conhecimentos Específicos/ Habilidades
Será imprescindível:
- Experiência sólida em engenharia de dados e administração de plataformas analíticas em ambiente Azure.
- Experiência avançada com:
- Azure Data Factory
- Azure Databricks
- Azure Data Lake Storage
- Spark
- Python
- SQL
- Conhecimento em arquitetura Lakehouse.
- Experiência na definição, implementação e governança de padrões corporativos de engenharia de dados, incluindo frameworks de desenvolvimento, pipelines de dados, modelagem, versionamento, documentação técnica e boas práticas de qualidade, visando escalabilidade, reutilização e consistência entre diferentes times e unidades de negócio.
- Experiência na implementação e evolução de práticas de Data Quality e observabilidade de dados, estabelecendo métricas, controles e processos para garantir a confiabilidade dos dados corporativos.
- Conhecimento em monitoramento, observabilidade e troubleshooting de plataformas.
- Experiência em otimização de performance e custos em ambientes de dados.
- Vivência com metodologias ágeis.
- Capacidade de atuar como referência técnica para engenheiros de dados distribuídos em diferentes squads e unidades de negócio.
Desejável
- Azure DevOps.
- Kafka e processamento de dados em streaming.
- Governança de Dados e Data Quality.
- Certificações Data Engineer ou correlatas.
Similar jobs
Search more Data Engineer jobsDesign and operate scalable data pipelines and platform solutions, integrating diverse sources and ensuring reliable, high-quality data for analytics, reporting, and AI applications.
Design and optimize cloud data lakehouse architectures and enterprise data models, lead customer onboarding initiatives, improve infrastructure efficiency, and mentor data engineering colleagues.
As a Senior Data Engineer, you will design and maintain scalable data pipelines and infrastructure, ensuring data governance and collaborating with cross-functional teams to drive impactful solutions.
Own the end-to-end data platform, building reliable pipelines and governed lakehouse and warehouse layers that provide trusted, secure data for analytics, finance, product, and AI teams.
