Remote Jobs RockRemote Jobs Rock

Senior Engenheiro(a) de Dados- Governança e Linhagem de Dados, Brasil

🕒 22 days ago
PythonSQLApache AirflowPostgreSQL
Apply Now

📜 Description

  • Mapear pipelines, scripts Python, metadados e objetos SQL para inventariar ativos de dados, dependências e consumidores.
  • Construir e publicar linhagem de dados e componentes de TI em PostgreSQL e Snowflake.
  • Integrar metadados, linhagem e ownership ao OpenMetadata via API.
  • Automatizar atualizações de catálogo e linhagem em pipelines de CI/CD a cada PR e deploy.
  • Definir regras técnicas de qualidade e monitoramento para tabelas críticas.
  • Usar agentes de IA e LLMs para analisar código e gerar metadados e documentação, com validação humana.

🛠️ Requirements

  • Sólida experiência com Python e SQL avançado.
  • Experiência com Apache Airflow, incluindo desenvolvimento e troubleshooting de DAGs.
  • Experiência com PostgreSQL, Snowflake, AWS, Git e pipelines de CI/CD.
  • Experiência com LLMs ou agentes de IA aplicados à análise de código e automação.
  • Capacidade de compreender e fazer engenharia reversa de pipelines e códigos existentes.
  • Conhecimento de modelagem de dados, gestão de metadados e linhagem de dados.
Full job description

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Estamos buscamos uma pessoa Engenheira de Dados t para atuar em iniciativas de governança de dados dos nossos clientes. Esta posição é peça-chave para mapear, documentar e governar ambientes de dados complexos e em constante evolução, preparando-os para a adoção de IA em escala.

A pessoa atuará diretamente sobre pipelines, bancos de dados e códigos existentes. O trabalho inclui descobrir como os dados fluem entre sistemas, construir a linhagem de dados e de componentes de TI e incorporar a governança ao ciclo de desenvolvimento. Aqui, IA não é um complemento: agentes e LLMs fazem parte do dia a dia do trabalho, acelerando a análise de código, a geração de metadados e a documentação, sempre com olhar crítico e validação humana. A posição combina forte conhecimento técnico, domínio prático de ferramentas de IA e a capacidade de interpretar grandes bases de código com pouca documentação, além de trabalhar próximo aos times técnicos e às áreas de negócio.

Responsabilidades:

- Descoberta e Mapeamento de Dados: Airflow, scripts Python, metadados, functions, packages e views SQL (bancos relacionais) para construir um inventário completo dos ativos de dados, suas dependências e consumidores.
- Linhagem de Dados: construir e publicar a linhagem em nível de objeto, e posteriormente de coluna. A linhagem deve cobrir fluxos de dados e componentes de TI em PostgreSQL e Snowflake.
Integração com Catálogo de Dados: integrar os resultados do mapeamento ao OpenMetadata via API, incluindo metadados técnicos, linhagem e ownership.
- Governance as Code: implementar automações em pipelines de CI/CD que mantenham catálogo e linhagem atualizados a cada PR e deploy, em um ambiente com alto ritmo de mudanças.
- Qualidade de Dados: definir e implementar regras técnicas de data quality e monitoramento para tabelas críticas.
- Colaboração: trabalhar em conjunto com os times de dados, DevOps e plataforma do cliente e com os donos de dados de negócio
- Documentação: produzir documentação técnica clara de cada objeto de dados, com inputs, outputs, dependências e propósito.
- Powered by AI: utilizar agentes de IA e LLMs (Claude, OpenAI) para acelerar a análise de código, a geração de metadados e a documentação, sempre com validação humana.

Requisitos:
- Sólida experiência com Python e SQL avançado
- Experiência consistente com Apache Airflow (desenvolvimento e troubleshooting de DAGs)
- Experiência com PostgreSQL e Snowflake
- Experiência com AWS (RDS, EC2 e serviços relacionados)
- Experiência com Git e pipelines de CI/CD
- Experiência com LLMs ou agentes de IA aplicados a análise de código e automação (Claude, OpenAI, Bedrock, LiteLLM, MCP)
- Capacidade de ler, compreender e fazer engenharia reversa de pipelines e códigos existentes
- Entendimento de modelagem de dados, gestão de metadados e conceitos de linhagem de dados

Diferenciais:
- Experiência com OpenMetadata, DataHub, Collibra ou ferramentas de catálogo similares
- Experiência com Astronomer (Airflow gerenciado) ou migrações de Airflow
- Experiência no mercado financeiro ou em gestão de ativos (posições, risco, P&L, trades)
- Familiaridade com Arcesium, Bloomberg ou sistemas de gestão de portfólio
- Experiência com Trino e recursos de governança do Snowflake (Horizon, Data Sharing)
- Certificações em cloud ou engenharia de dados (AWS, Snowflake)
- Inglês intermediário/avançado (B2 ou superior)

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions. Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.  Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Nossos benefícios:   - Plano de saúde e odontológico; - Vale alimentação e refeição; - Auxílio-creche; - Licença parental estendida; - Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass)  TotalPass; - Participação nos Lucros e Resultados (PLR); - Seguro de Vida; - Plataforma de aprendizagem contínua (CI&T University); - Clube de descontos; - Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar; - Curso gestante e parentalidade responsável; - Parceria com plataformas de cursos online; - Plataforma para aprendizagem de idiomas; - E muitos outros   Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras   Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.   Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.
Leega Consultoria

Engenheiro de Dados GCP Sênior

🕒 yesterday
Leega Consultoria👥 201 - 500 employees🏢 Information Technology And Services

Construa e opere um hub de dados centralizado no Google Cloud, integrando fontes corporativas e entregando dados confiáveis e modelados para análises, painéis e soluções de IA e machine learning.

Google CloudBigqueryCloud StorageApache Airflow

Trusted by Remote Workers