Build and govern Databricks data pipelines for migration reconciliation and reporting, expose validated results through an API, and orchestrate production workflows with data quality controls.
Engenheiro de Dados SR
📜 Description
- Projetar, desenvolver e otimizar pipelines para ingestão, transformação e processamento de grandes volumes de dados.
- Criar soluções com Python, SQL, Spark/PySpark e Databricks em arquiteturas Data Lake, Lakehouse e Data Warehouse.
- Definir estratégias de particionamento e otimização de performance e desenvolver processos ETL/ELT distribuídos.
- Investigar problemas críticos de processamento, performance e qualidade e implementar monitoramento e observabilidade.
- Contribuir para decisões técnicas, padrões e evolução da arquitetura, realizando code reviews e apoiando profissionais Júnior e Pleno.
- Colaborar com equipes técnicas e áreas de negócio, apoiando estimativas, planejamento e melhoria contínua.
🛠️ Requirements
- Experiência sólida em Engenharia de Dados, preferencialmente 5 anos ou mais, incluindo projetos complexos e grandes volumes de dados.
- Conhecimento avançado de Python, SQL e Spark/PySpark; experiência prática com Databricks.
- Experiência com ETL/ELT, processamento distribuído, Azure Data Lake Storage (ADLS) e Azure Data Factory ou ferramenta equivalente.
- Conhecimento de Data Lake, Lakehouse, Data Warehouse e modelagem de dados.
- Experiência com bancos SQL e NoSQL, Git, CI/CD, APIs e integração de sistemas.
- Conhecimento de segurança, governança e qualidade de dados, além de otimização e tuning de pipelines.
- Ensino superior completo.
- Diferenciais: Delta Lake, Databricks Workflows, Unity Catalog, Kafka ou Azure Event Hubs, Terraform/IaC, certificações Azure ou Databricks e experiência nos setores financeiro ou bancário.
Full job description
No Grupo Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.
Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!
Junte-se a nós e seja parte da mudança!
Local: Osasco/SP — atuação presencial de 2 a 3 vezes ao MÊS nas instalações do cliente
Jornada: 08h às 17h, com 1h de intervalo
Responsibilities
O que esperamos que você realize:
- Projetar, desenvolver, evoluir e otimizar pipelines de dados de média e alta complexidade;
- Construir soluções escaláveis para ingestão, transformação e processamento de grandes volumes de dados;
- Desenvolver soluções utilizando Python, SQL, Spark/PySpark e Databricks;
- Atuar em arquiteturas de Data Lake, Lakehouse e Data Warehouse;
- Definir estratégias de particionamento, processamento e otimização de performance;
- Desenvolver e otimizar processos ETL/ELT e soluções de processamento distribuído;
- Investigar e solucionar problemas críticos relacionados a processamento, performance e qualidade dos dados;
- Implementar mecanismos de monitoramento, observabilidade e qualidade de dados;
- Aplicar boas práticas de segurança, governança e proteção de dados;
- Participar de decisões técnicas, definição de padrões e evolução da arquitetura das soluções;
- Realizar code reviews e apoiar tecnicamente profissionais de níveis Júnior e Pleno;
- Interagir com equipes de Arquitetura, Segurança, Infraestrutura, Desenvolvimento e áreas de negócio;
- Apoiar estimativas técnicas, planejamento e acompanhamento das entregas;
- Contribuir para a melhoria contínua dos processos, padrões e soluções de Engenharia de Dados.
Requirements
O que precisamos que você tenha de conhecimento:
- Experiência sólida em Engenharia de Dados, preferencialmente 5 anos ou mais;
- Experiência com projetos de alta complexidade e grandes volumes de dados;
- Python avançado;
- SQL avançado;
- Spark/PySpark avançado;
- Experiência prática com Databricks;
- Experiência com ETL/ELT e processamento distribuído;
- Experiência com Azure Data Lake Storage (ADLS);
- Experiência com Azure Data Factory ou ferramentas equivalentes de orquestração;
- Conhecimento de Data Lake, Lakehouse e Data Warehouse;
- Conhecimento de modelagem de dados;
- Experiência com bancos de dados SQL e NoSQL;
- Conhecimento de Git e CI/CD;
- Experiência com APIs e integração de sistemas;
- Conhecimento de segurança, governança e qualidade de dados;
- Experiência com otimização e tuning de pipelines e processos de dados.
- Ensino superior completo
Diferenciais:
- Experiência com Delta Lake;
- Conhecimento de Databricks Workflows;
- Conhecimento de Unity Catalog;
- Experiência com Kafka, Azure Event Hubs ou outras tecnologias de streaming;
- Conhecimento de Terraform / Infrastructure as Code (IaC);
- Certificações Azure e/ou Databricks;
- Experiência no segmento financeiro ou bancário;
- Vivência em ambientes de grande escala e alta criticidade.
Similar jobs
Search more Data Engineer jobsAs a Senior Data Engineer, you will design and implement scalable data pipelines, ensuring data governance and supporting Headway's mission to improve access to mental healthcare.
Engenheiro de Dados e Plataforma de Agentes Sênior (AWS)
Engenheiro de Dados Sênior responsável por construir pipelines e governar dados, ferramentas e memória para uma plataforma de IA generativa multiagente em AWS, com foco em segurança, observabilidade e resiliência.
Build and maintain real-time, batch, and streaming data pipelines, warehouse infrastructure, and dbt models while supporting analytics and data quality across business teams.
Build and maintain real-time, batch, and streaming data pipelines and warehouse infrastructure, while supporting analytics and developing dbt models that improve data accessibility, quality, and decision-making.
