Remote Jobs RockRemote Jobs Rock

Engenheiro(a) de Dados Sênior

🕒 21 days ago
Engenharia De DadosETL/ELTDatabricksApache Spark
Apply Now

📜 Description

  • Desenhar, construir e manter pipelines ETL/ELT no Databricks com Spark, Delta Lake e Workflows.
  • Contribuir para decisões de arquitetura lakehouse, modelagem medallion e padrões de integração.
  • Provisionar e versionar infraestrutura de dados como código com Terraform.
  • Evoluir pipelines de CI/CD no GitLab, incluindo deploys, testes automatizados e qualidade de código.
  • Modelar e catalogar dados com arquitetura medallion e Unity Catalog, garantindo qualidade e observabilidade.
  • Revisar código, disseminar boas práticas e colaborar com negócio, BI e Ciência de Dados.

🛠️ Requirements

  • Sólida experiência em engenharia de dados, com pipelines batch (e, idealmente, streaming/structured streaming);
  • Experiência com Databricks: Spark (PySpark/SQL), Delta Lake, Workflows/Jobs e Unity Catalog;
  • Experiência com arquitetura de dados (lakehouse/data lake em escala, decisões de design e trade-offs);
  • Terraform ou outra ferramenta de infraestrutura como código;
  • CI/CD com GitLab (pipelines, MRs, deploys automatizados);
  • Python e SQL avançados (queries complexas, otimização, modelagem dimensional);
  • Experiência em cloud (AWS ou equivalente) como infraestrutura subjacente;
  • Formação em Engenharia, Ciência da Computação ou áreas correlatas.
  • Uso de ferramentas de IA aplicadas ao dia a dia de engenharia (copilots, agentes, automação de tarefas do time);
  • Certificações Databricks (Data Engineer Associate/Professional);
Full job description

Você quer fazer parte de um grande time em uma empresa que não para de crescer?

Se você está dentro dos requisitos abaixo, venha participar do nosso processo seletivo para Engenheiro(a) de Dados Senior. Vamos adorar te conhecer!

Responsibilities

  • Desenhar, construir e manter pipelines de dados (ETL/ELT) no Databricks (Spark, Delta Lake, Workflows);
  • Contribuir para decisões de arquitetura de dados (lakehouse, modelagem medallion, padrões de integração) com visão de médio e longo prazo;
  • Provisionar e versionar infraestrutura de dados como código (Terraform);
  • Evoluir esteiras de CI/CD no GitLab (pipelines de deploy, testes automatizados, qualidade de código);
  • Modelar e catalogar dados seguindo a arquitetura medallion (bronze/silver/gold) e o Unity Catalog;
  • Garantir qualidade e confiabilidade dos dados (testes, validações, observabilidade de pipelines em produção);
  • Explorar a IA como facilitadora do time, com agentes e skills que aceleram tarefas recorrentes de engenharia, geração e revisão de código e documentação;
  • Revisar código de outros engenheiros (Merge Requests) e disseminar boas práticas de engenharia de dados;
  • Colaborar com as áreas de negócio, BI e Ciência de Dados para disponibilizar dados confiáveis e bem documentados.

Requirements

  • Sólida experiência em engenharia de dados, com pipelines batch (e, idealmente, streaming/structured streaming);
  • Experiência com Databricks: Spark (PySpark/SQL), Delta Lake, Workflows/Jobs e Unity Catalog;
  • Experiência com arquitetura de dados (lakehouse/data lake em escala, decisões de design e trade-offs);
  • Terraform ou outra ferramenta de infraestrutura como código;
  • CI/CD com GitLab (pipelines, MRs, deploys automatizados);
  • Python e SQL avançados (queries complexas, otimização, modelagem dimensional);
  • Experiência em cloud (AWS ou equivalente) como infraestrutura subjacente;
  • Formação em Engenharia, Ciência da Computação ou áreas correlatas.
Diferenciais:
  • Uso de ferramentas de IA aplicadas ao dia a dia de engenharia (copilots, agentes, automação de tarefas do time);
  • Certificações Databricks (Data Engineer Associate/Professional);
  • Pós-graduação ou especialização em dados ou engenharia de software;
  • Vivência em consultoria de dados/analytics e/ou em empresas de varejo ou farma;
  • Inglês técnico para leitura de documentação.

Shyftlabs

Senior Data Engineer -Databricks

🕒 3 days ago
Shyftlabs👥 51 - 200 employees🏢 Management Consulting

Design and optimize production data pipelines on Databricks, integrating diverse sources and applying data transformations, modeling, quality controls, and Spark performance tuning to deliver scalable data solutions.

PythonPysparkAdvanced SQLDatabricks Lakehouse Platform

Develop end-to-end regulatory and ESG reporting solutions across the Baltics, translating business requirements into reliable outputs through data analysis, SQL or Python development, troubleshooting, and continuous improvement.

SQLPythonSAS/WPSData Warehousing

Trusted by Remote Workers