Data Engineer

Disponibilizar dados confiáveis, segregados, rastreáveis e economicamente sustentáveis para a plataforma, os agentes e a mensuração de valor.

Responsibilities

● Construir e operar ingestão, transformação, armazenamento, indexação e serving de dados estruturados e não estruturados.

● Definir qualidade, catálogo, linhagem, contratos, retenção, exclusão e ownership de dados.

● Garantir segregação por empresa e aplicação de permissões em bases, vetores, arquivos, chunks e logs.

● Preparar pipelines para RAG, telemetria, analytics e dashboards de valor.

● Monitorar frescor, completude, duplicidade, falhas, custo e performance dos pipelines.

● Apoiar integrações e migrações, documentando dependências e regras de negócio.

Entregas esperadas

● Pipelines e modelos de dados versionados e observáveis.

● Catálogo, dicionário, linhagem e regras de qualidade e acesso.

● Bases prontas para RAG, produto e mensuração, com testes de isolamento.

Requirements

● Experiência em engenharia de dados, SQL, Python, APIs e serviços cloud.

● Domínio de modelagem, ETL/ELT, data quality, orquestração e observabilidade.

● Conhecimento de dados não estruturados, vetores e padrões de segurança e privacidade.

● Capacidade de entender regras de negócio e transformá-las em contratos de dados.

Diferenciais

● Experiência com RAG, vector databases, streaming ou produtos analíticos.

● Conhecimento de LGPD, data governance e FinOps de dados.

Indicadores de sucesso

● SLA de frescor, disponibilidade e qualidade dos dados.

● Incidentes de acesso indevido ou mistura entre tenants igual a zero.

● Custo e tempo de processamento por pipeline e por caso de uso.

Interfaces principais: Solution Architect, AI Specialists, Integration, Value Analyst, DevOps e donos de dados dos biomas.