Build and evolve a large-scale data platform by developing reliable Azure pipelines, maintaining its analytics layer, modeling performance indicators, and ensuring data is accurate and ready for business decisions.
Senior/Pleno Data Developer (Databricks/Data Lakehouse ), Brazil
📜 Description
- Mapear o cenário técnico atual e definir o roadmap para migrar Data Warehouses on-premise para Databricks.
- Projetar, desenvolver e otimizar pipelines escaláveis com SQL e Python/PySpark.
- Criar modelos analíticos com camadas Bronze, Silver e Gold, Star Schema e tabelas OBT.
- Implementar testes, validações e práticas de governança para assegurar a integridade e confiabilidade dos dados.
- Traduzir requisitos de negócio em soluções de dados, comunicar impedimentos e mobilizar equipes para resolvê-los.
- Gerenciar o roadmap técnico, dependências, entregas e mudanças do projeto.
🛠️ Requirements
- Experiência com bancos de dados relacionais, SQL, Oracle, Databricks, Spark/PySpark e Azure Data Factory.
- Experiência prática com camadas Bronze, Silver e Gold, Star Schema e tabelas analíticas OBT.
- Conhecimento de qualidade e governança de dados e operações MERGE em ambientes Data Lakehouse.
- Domínio de SQL para consultas complexas e de Python/PySpark para transformação e manipulação de dados.
- Capacidade de investigar tarefas pouco definidas, refinar requisitos e criar e gerenciar roadmaps técnicos.
- Diferenciais: certificações Databricks ou Azure, Airflow, Power BI ou Tableau e metodologias ágeis.
Full job description
Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
Buscamos uma Pessoa Engenheira de Dados Senior/Pleno para ser a força motriz de um projeto de alta visibilidade: a migração de nossos Data Warehouses on-premise para a nuvem (Databricks).
Seu papel será fundamental desde o início, participando de levantamentos técnicos para mapear o cenário atual e definir o roadmap da migração. Você será a ponte entre a engenharia de dados robusta e a criação de valor analítico para o negócio, garantindo que nossos dados sejam não apenas bem estruturados, mas também prontos para gerar insights.
Suas responsabilidades no dia a dia:
- Construção de Pipelines de Dados: Projetar, desenvolver e otimizar pipelines de dados eficientes e escaláveis usando SQL avançado e Python/PySpark.
- Modelagem para Análise: Criar e manter modelos de dados otimizados para consumo analítico, aplicando as melhores práticas de mercado como Star Schema e a estruturação em camadas (Bronze, Silver, Gold) para construir tabelas analíticas (OBTs) de alto desempenho.
- Garantia de Qualidade e Governança: Implementar e liderar rotinas de testes, validações e governança para garantir a integridade, consistência e confiabilidade dos dados em todas as etapas do pipeline.
- Resolução de Problemas e Comunicação: Atuar como referência técnica, mobilizando as equipes necessárias, comunicando-se de forma eficaz para resolver impedimentos e traduzindo requisitos de negócio em soluções de dados.
- Gestão do Roadmap Técnico: Criar e gerenciar o roadmap do projeto, identificando dependências técnicas, planejando entregas e gerenciando mudanças de forma proativa.
Habilidades e Qualificações que buscamos:
- Experiência Prática com a Stack: Vivência sólida com bancos de dados relacionais (SQL, Oracle) e, principalmente, com o ecossistema Databricks (Spark, PySpark) e orquestradores como Azure Data Factory (ADF).
- Modelagem de Dados Aplicada: Profunda compreensão e experiência na implementação das camadas de dados Bronze, Silver e Gold, além de modelos como Star Schema e Tabelas Analíticas (OBT).
- Conhecimentos Fundamentais: Compreensão sólida de qualidade de dados, governança e operações essenciais como MERGE em ambientes de Data Lakehouse.
Liderança e Comunicação:
Capacidade de lidar com tarefas pouco descritas, usando a comunicação e a investigação para refinar o entendimento.
Experiência na criação e gestão de roadmaps técnicos.
Proficiência em Código: Domínio de SQL para consultas complexas e - Python/PySpark para transformação e manipulação de dados.
Diferenciais que nos impressionam:
Certificações em Databricks ou Azure (ex: Azure Data Engineer).
Experiência com ferramentas de orquestração de workflows (ex: Airflow).
Familiaridade com plataformas de Business Intelligence (ex: Power BI, Tableau) e como os dados são consumidos.
Vivência em metodologias ágeis.
Similar jobs
Search more Data Engineer jobsBuild and own production data pipelines and certified metrics that give Strategy and GTM teams a trusted view of business performance, while enabling self-service analytics and AI-ready data.
Extract, transform, and validate clinical and administrative data from ambulatory EHR/EMR systems, building governed data pipelines and audit-ready calculations for CMS MIPS and value-based care reporting.
Design and optimize Databricks-centered data infrastructure, pipelines, and reusable tools, improving platform reliability, performance, security, and cost efficiency for engineering and analytics teams.
Senior Databricks Administrator/Architect
Architect and administer enterprise Azure Databricks platforms, building secure Lakehouse and data engineering solutions while owning governance, CI/CD, performance, monitoring, migrations, and production support.
