Design and optimize production data pipelines on Databricks, integrating diverse sources and applying data transformations, modeling, quality controls, and Spark performance tuning to deliver scalable data solutions.
Engenheiro(a) de Dados Sênior
📜 Description
- Desenhar, construir e manter pipelines ETL/ELT no Databricks com Spark, Delta Lake e Workflows.
- Contribuir para decisões de arquitetura lakehouse, modelagem medallion e padrões de integração.
- Provisionar e versionar infraestrutura de dados como código com Terraform.
- Evoluir pipelines de CI/CD no GitLab, incluindo deploys, testes automatizados e qualidade de código.
- Modelar e catalogar dados com arquitetura medallion e Unity Catalog, garantindo qualidade e observabilidade.
- Revisar código, disseminar boas práticas e colaborar com negócio, BI e Ciência de Dados.
🛠️ Requirements
- Sólida experiência em engenharia de dados, com pipelines batch (e, idealmente, streaming/structured streaming);
- Experiência com Databricks: Spark (PySpark/SQL), Delta Lake, Workflows/Jobs e Unity Catalog;
- Experiência com arquitetura de dados (lakehouse/data lake em escala, decisões de design e trade-offs);
- Terraform ou outra ferramenta de infraestrutura como código;
- CI/CD com GitLab (pipelines, MRs, deploys automatizados);
- Python e SQL avançados (queries complexas, otimização, modelagem dimensional);
- Experiência em cloud (AWS ou equivalente) como infraestrutura subjacente;
- Formação em Engenharia, Ciência da Computação ou áreas correlatas.
- Uso de ferramentas de IA aplicadas ao dia a dia de engenharia (copilots, agentes, automação de tarefas do time);
- Certificações Databricks (Data Engineer Associate/Professional);
Full job description
Você quer fazer parte de um grande time em uma empresa que não para de crescer?
Se você está dentro dos requisitos abaixo, venha participar do nosso processo seletivo para Engenheiro(a) de Dados Senior. Vamos adorar te conhecer!
Responsibilities
- Desenhar, construir e manter pipelines de dados (ETL/ELT) no Databricks (Spark, Delta Lake, Workflows);
- Contribuir para decisões de arquitetura de dados (lakehouse, modelagem medallion, padrões de integração) com visão de médio e longo prazo;
- Provisionar e versionar infraestrutura de dados como código (Terraform);
- Evoluir esteiras de CI/CD no GitLab (pipelines de deploy, testes automatizados, qualidade de código);
- Modelar e catalogar dados seguindo a arquitetura medallion (bronze/silver/gold) e o Unity Catalog;
- Garantir qualidade e confiabilidade dos dados (testes, validações, observabilidade de pipelines em produção);
- Explorar a IA como facilitadora do time, com agentes e skills que aceleram tarefas recorrentes de engenharia, geração e revisão de código e documentação;
- Revisar código de outros engenheiros (Merge Requests) e disseminar boas práticas de engenharia de dados;
- Colaborar com as áreas de negócio, BI e Ciência de Dados para disponibilizar dados confiáveis e bem documentados.
Requirements
- Sólida experiência em engenharia de dados, com pipelines batch (e, idealmente, streaming/structured streaming);
- Experiência com Databricks: Spark (PySpark/SQL), Delta Lake, Workflows/Jobs e Unity Catalog;
- Experiência com arquitetura de dados (lakehouse/data lake em escala, decisões de design e trade-offs);
- Terraform ou outra ferramenta de infraestrutura como código;
- CI/CD com GitLab (pipelines, MRs, deploys automatizados);
- Python e SQL avançados (queries complexas, otimização, modelagem dimensional);
- Experiência em cloud (AWS ou equivalente) como infraestrutura subjacente;
- Formação em Engenharia, Ciência da Computação ou áreas correlatas.
- Uso de ferramentas de IA aplicadas ao dia a dia de engenharia (copilots, agentes, automação de tarefas do time);
- Certificações Databricks (Data Engineer Associate/Professional);
- Pós-graduação ou especialização em dados ou engenharia de software;
- Vivência em consultoria de dados/analytics e/ou em empresas de varejo ou farma;
- Inglês técnico para leitura de documentação.
Similar jobs
Search more Data Engineer jobsDesigns and operates reliable data pipelines and models that power customer-facing application features and shared analytics, partnering with engineering and product teams to deliver secure, accurate, accessible data.
Build and operate reliable data pipelines and integrations across marketing and business systems, shaping accurate customer data for segmentation, lifecycle campaigns, attribution, and performance reporting.
Develop end-to-end regulatory and ESG reporting solutions across the Baltics, translating business requirements into reliable outputs while maintaining, troubleshooting, and modernising reporting processes.
Reporting Solutions Developer / Atskaišu risinājumu izstrādātājs/-a (Mid/Senior) | SEB, Riga
Develop end-to-end regulatory and ESG reporting solutions across the Baltics, translating business requirements into reliable outputs through data analysis, SQL or Python development, troubleshooting, and continuous improvement.
