Remote Jobs RockRemote Jobs Rock

Engenheiro(a) de Dados Sênior

🕒 3 days ago
SQLPythonMicrosoft AzureDatabricks
Apply Now

📜 Description

  • Projetar e manter integrações seguras e eficientes entre ambientes e fontes de dados.
  • Desenvolver processos de ingestão de sistemas transacionais para a camada analítica usando CDC.
  • Construir, orquestrar e monitorar pipelines escaláveis, com recuperação de falhas e tratamento de duplicidades.
  • Aplicar boas práticas de modelagem e estruturar dados confiáveis, seguros e governados para o Lakehouse.
  • Propor melhorias arquiteturais, resolver incidentes complexos e orientar profissionais menos experientes.
  • Otimizar custos de processamento, armazenamento e execução de jobs com práticas de FinOps.

🛠️ Requirements

  • Experiência sólida com SQL e Python.
  • Experiência prática em produção com Microsoft Azure e Databricks (Apache Spark), incluindo arquitetura Medallion.
  • Experiência com CDC, incluindo Debezium e Apache Kafka.
  • Conhecimento de bancos relacionais e analíticos, como PostgreSQL, Oracle e BigQuery, e NoSQL, especialmente MongoDB.
  • Experiência com pipelines ETL/ELT em batch e streaming e ferramentas como Airflow, Airbyte, dbt e Glue.
  • Conhecimento de arquitetura Data Lake, Data Warehouse e Lakehouse, modelagem, qualidade, testes, governança e segurança de dados.
  • Experiência com observabilidade de pipelines, otimização de consultas, Git e CI/CD.
  • Autonomia, comunicação, organização e disposição para compartilhar conhecimento e mentorar colegas.
Full job description

Muito prazer, somos a Vidalink!

Somos unidos pela crença de que as pessoas têm um desejo natural de levar a vida de maneira saudável e equilibrada e que podemos apoiá-las nesta jornada!

A equipe de Dados da Vidalink apoia clientes e todas as áreas da empresa, facilitando o acesso e compreensão dos dados gerados pelo negócio, através de ferramentas de auto-consumo.

Bora fazer parte do nosso time?

Responsibilities

  • Projetar, implementar e manter a conexão entre diferentes ambientes e fontes de dados, garantindo uma integração segura, consistente e eficiente.

  • Desenvolver e operar processos avançados de ingestão de dados de sistemas transacionais (produção) para a camada analítica, utilizando Change Data Capture (CDC).

  • Construir, orquestrar e monitorar pipelines de dados escaláveis em todas as camadas da arquitetura (ingestão, processamento e consumo), garantindo a recuperação de falhas e o tratamento de eventos duplicados.

  • Aplicar e disseminar boas práticas de modelagem de dados, visando escalabilidade, desempenho e usabilidade analítica.

  • Estruturar dados confiáveis, seguros e governados, preparando a fundação de dados do Lakehouse para futuras aplicações e modelos de Inteligência Artificial.

  • Tomar decisões técnicas assertivas, propor melhorias arquiteturais e atuar na solução de incidentes complexos.

  • Atuar como mentor técnico, orientando e apoiando o desenvolvimento de profissionais menos experientes (assistentes/juniores) do time.

  • Aplicar práticas de FinOps, monitorando e otimizando continuamente os custos de processamento, armazenamento e execução de jobs.

  • Garantir performance, confiabilidade e cumprimento de SLAs, atuando de forma proativa na identificação e resolução de falhas.

  • Requirements

    Ferramentas e Tecnologias

    • Experiência sólida com SQL e Python para processamento estruturado e transformação complexa de dados.
    • Experiência prática e em ambiente de produção com o ecossistema Microsoft Azure (especialmente integração, armazenamento, gestão de permissões e operação de pipelines).
    • Domínio em Databricks (Apache Spark), com forte capacidade de otimização de processamento distribuído, desenvolvimento de pipelines e implementação da Arquitetura Medallion (camadas Bronze, Silver e Gold) no Lakehouse.
    • Experiência sólida com Change Data Capture (CDC), compreendendo atualizações incrementais, consistência de dados e integração com ferramentas como Debezium e Apache Kafka.
    • Conhecimento prático em bancos de dados relacionais e analíticos (ex.: PostgreSQL, Oracle, BigQuery) e bancos NoSQL (especialmente MongoDB).
    • Experiência na construção de pipelines ETL/ELT complexos, tanto em batch quanto em streaming.
    • Uso de ferramentas de orquestração e integração de dados, como Airflow, Airbyte, dbt e Glue.
    • Familiaridade com o uso de IAs generativas (Claude, Gemini, ChatGPT, etc.) aplicadas à produtividade no dia a dia, desenvolvimento e troubleshooting de código.
    • Utilização de Git para versionamento de código e práticas sólidas de CI/CD.

    Habilidades Técnicas

    • Modelagem de dados relacional, analítica e orientada a documentos adaptada para cenários de Big Data.
    • Profundo conhecimento em arquitetura de dados moderna (Data Lake, Data Warehouse e Lakehouse).
    • Domínio na captura de alterações de bancos de origem, garantindo resiliência, consistência e tratamento de falhas em dados transacionais.
    • Aplicação de boas práticas de qualidade, testes, governança de dados e segurança (Data Contracts, mascaramento, etc.).
    • Monitoramento e observabilidade de pipelines, garantindo performance, confiabilidade e SLAs críticos.
    • Otimização avançada de consultas (Query Tuning).

    Habilidades Comportamentais

    • Atuação autônoma e visão de dono: capacidade de ir além de seguir padrões, definindo novas diretrizes e liderando a resolução de problemas.
    • Perfil analítico, organizado e proativo na mitigação de riscos técnicos.
    • Boa comunicação para traduzir necessidades de áreas de negócio em soluções técnicas e para interagir com diferentes times.
    • Disposição para compartilhar conhecimento e mentorar pares.
    • Compromisso com a qualidade, cumprimento de prazos e evolução técnica contínua (sua e do time).
    SD Solutions

    SaaS e-commerce Client #3 | Senior MLOps Engineer (Data & ML Platform)

    🕒 2 days ago
    SD Solutions👥 201 - 500 employees🏢 Staffing And Recruiting

    Own production data pipelines and platform workflows that power an offer-ranking model, from onboarding raw sources and building training features to monitoring data quality and deploying reliable, cost-aware pipelines.

    MlopsData EngineeringApache SparkDatabricks

    Trusted by Remote Workers