Remote Jobs RockRemote Jobs Rock

Engenheiro de Dados Sênior - GCP

🕒 7 days ago
Data EngineeringSQLPythonGCP

📜 Description

  • Refine and document prioritized initiatives with business areas, gathering requirements and dependencies.
  • Develop and maintain data pipelines using ETL/ELT strategies across the entire data flow.
  • Build and evolve the data pipeline in Raw, Trusted, and Refined layers, ensuring quality and scalability.
  • Model data tables and structures with business rules for analytical and strategic consumption.
  • Create and evolve data storage and processing solutions, considering Data Lake/Lakehouse architectures.
  • Develop integrations between processed data and external tools or applications.

🛠️ Requirements

  • Solid experience in Data Engineering.
  • Strong knowledge of SQL and Python.
  • Experience with Data Engineering in Cloud environments, preferably GCP.
  • Practical experience with BigQuery, Cloud Storage, and Cloud Functions.
  • Knowledge of Cloud Run, Artifact Registry, Docker, Dockerfile, and CI/CD.
  • Experience in building and maintaining data pipelines and knowledge of the medallion architecture.
Full job description

Quer fazer a diferença na nova economia e transformar pessoas e negócios para prosperarem? Vem pra Cadastra!

Como Data Engineer, você será responsável por construir e evoluir pipelines e soluções de dados, atuando desde a ingestão e tratamento até a modelagem e disponibilização dos dados para o negócio, em um ambiente GCP e com foco em soluções escaláveis, eficientes e orientadas a resultados.

Essa posição é para atuar de forma remota.

Responsibilities

No nosso Data Hub você terá o desafio de:

  • Refinar e documentar as iniciativas priorizadas junto às áreas de negócio, levantando requisitos, necessidades e dependências;
  • Desenvolver e manter pipelines de dados utilizando estratégias de ETL/ELT, atuando em todo o fluxo de ingestão, tratamento e disponibilização dos dados;
  • Construir e evoluir a esteira de dados nas camadas Raw, Trusted e Refined, garantindo qualidade, confiabilidade e escalabilidade;
  • Modelar tabelas e estruturas de dados com as regras de negócio aplicadas, estruturando a camada semântica para consumo analítico e estratégico;
  • Criar e evoluir soluções de armazenamento e processamento de dados, considerando arquiteturas Data Lake/Lakehouse, bases relacionais e não relacionais;
  • Desenvolver integrações entre dados processados e ferramentas ou aplicações externas, como Google Apps Script;
  • Criar, prototipar e validar dashboards e soluções de visualização em parceria com as áreas de negócio;
  • Trabalhar em parceria com analistas e stakeholders para traduzir necessidades de negócio em soluções de dados eficientes e sustentáveis;
  • Trabalhar com autonomia, porém sem individualismo, aproveitando os diversos perfis profissionais do time para potencializar suas entregas;
  • Colaborar nos alinhamentos, reuniões e cerimônias junto ao cliente e às áreas de negócio;
  • Explorar novas tecnologias e contribuir em iniciativas que envolvam Inteligência Artificial aplicada a dados.

Requirements

O que a Cadastra espera de você:


    • Experiência sólida em Engenharia de Dados;
    • Conhecimentos sólidos em SQL e Python;
    • Experiência com Engenharia de Dados em ambientes Cloud, preferencialmente GCP (Google Cloud Platform);
    • Experiência prática com BigQuery, Cloud Storage e Cloud Functions;
    • Conhecimento em Cloud Run, Artifact Registry, Docker, Dockerfile e CI/CD;
    • Experiência na construção e manutenção de pipelines de dados e conhecimento de arquitetura medalhão (Raw, Trusted e Refined);
    • Conhecimento em Data Lake/Lakehouse, modelagem de dados e boas práticas de armazenamento, processamento e carga;
    • Experiência com ferramentas de orquestração de fluxos de dados, como Airflow, Luigi, Kubeflow ou similares;
    • Experiência com metodologias ágeis e ferramentas de gestão de tarefas, preferencialmente Jira;
    • Boa capacidade de comunicação e facilidade para traduzir necessidades de negócio em soluções técnicas;
    • Curiosidade, adaptabilidade e interesse em novas tecnologias, com disponibilidade para atuar em iniciativas relacionadas a Inteligência Artificial.
    Será um diferencial:
    • Experiência com ferramentas de visualização de dados e construção de dashboards;
    • Experiência com integrações entre plataformas de dados e aplicações externas;
    • Vivência em projetos que utilizem Inteligência Artificial aplicada a dados.

Trusted by Remote Workers