Own and evolve a production data platform, building reliable ingestion pipelines, dbt models, and analytics infrastructure while setting engineering standards and mentoring data engineers.
Engenheiro de Dados e Plataforma de Agentes Sênior (GCP)
📜 Description
- Construir pipelines de ingestão, transformação e qualidade de dados em batch e streaming no GCP.
- Modelar Data Lake/Lakehouse e otimizar dados, custos e desempenho em BigQuery e BigLake.
- Definir contratos de dados e monitorar qualidade, linhagem e SLAs.
- Preparar dados para aplicações de IA, incluindo limpeza, anonimização, chunking e embeddings.
- Aplicar controles de LGPD e segurança a dados sensíveis de saúde antes do uso em ambientes de IA.
- Integrar dados e sistemas a agentes e manter pipelines de MLOps/LLMOps, infraestrutura como código e observabilidade.
🛠️ Requirements
- Domínio de Python e SQL.
- Experiência sólida em engenharia de dados no GCP: BigQuery, Cloud Storage, Dataflow ou Dataproc e Pub/Sub.
- Experiência com orquestração de pipelines (Cloud Composer/Airflow, Cloud Workflows ou similares).
- Conhecimento em governança e segurança de dados no GCP: Cloud IAM, Dataplex, policy tags e Cloud KMS.
- Terraform e CI/CD (Cloud Build, GitHub Actions ou similares).
- Experiência prática em ambientes GCP com múltiplos projetos, organização e folders.
- Vivência com sistemas distribuídos e orientados a eventos (filas, retries, idempotência e consistência).
- Experiência preparando dados para ao menos uma aplicação com LLM em produção (RAG ou agentes com uso de ferramentas).
- Conhecimento de LGPD aplicada a dados sensíveis, incluindo técnicas de anonimização e mascaramento.
- Vertex AI (RAG Engine, Vertex AI Search, Agent Engine, Pipelines), Gemini e Model Armor.
Full job description
A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.
Isso não poderia ser diferente com o nosso principal combustível: as pessoas!
Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.
Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.
Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!
>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.
Cadastre-se agora mesmo em nossas vagas!
Responsibilities
- Construir e manter pipelines de ingestão, transformação e qualidade de dados em batch e streaming com BigQuery, Dataflow, Dataproc, Pub/Sub e Cloud Storage.
- Modelar e organizar o Data Lake/Lakehouse em BigQuery e BigLake, com camadas, particionamento e otimização de custo e performance.
- Definir contratos de dados (schemas, freshness e SLAs) e monitorar a qualidade e a linhagem das fontes.
- Preparar dados para IA: limpeza, anonimização, chunking e geração de embeddings para Vertex AI RAG Engine, Vertex AI Search e vector stores.
- Garantir conformidade com a LGPD no tratamento de dados sensíveis de saúde, aplicando mascaramento, anonimização (Sensitive Data Protection), policy tags e residência de dados antes que esses dados cheguem aos ambientes de IA.
- Desenhar acesso a dados entre projetos (Cloud IAM, Dataplex, BigLake, Analytics Hub) evitando cópias, com menor privilégio e trilha de auditoria.
- Disponibilizar dados e sistemas internos como ferramentas para agentes via servidores MCP e MCP Toolbox, apoiando o time de IA na integração com Vertex AI Agent Engine e Agent Development Kit (ADK).
- Manter pipelines de MLOps/LLMOps com Vertex AI Pipelines, incluindo avaliação, guardrails (Model Armor) e monitoramento de drift e qualidade das respostas.
- Provisionar a infraestrutura de dados e IA como código com Terraform e CI/CD, e acompanhar custos por área, projeto e modelo (FinOps) com billing export para BigQuery e labels.
- Implementar observabilidade ponta a ponta (OpenTelemetry, Cloud Logging, Cloud Monitoring, Cloud Trace) e apoiar estratégias de resiliência e disaster recovery.
Requirements
- Domínio de Python e SQL.
- Experiência sólida em engenharia de dados no GCP: BigQuery, Cloud Storage, Dataflow ou Dataproc e Pub/Sub.
- Experiência com orquestração de pipelines (Cloud Composer/Airflow, Cloud Workflows ou similares).
- Conhecimento em governança e segurança de dados no GCP: Cloud IAM, Dataplex, policy tags e Cloud KMS.
- Terraform e CI/CD (Cloud Build, GitHub Actions ou similares).
- Experiência prática em ambientes GCP com múltiplos projetos, organização e folders.
- Vivência com sistemas distribuídos e orientados a eventos (filas, retries, idempotência e consistência).
- Experiência preparando dados para ao menos uma aplicação com LLM em produção (RAG ou agentes com uso de ferramentas).
- Conhecimento de LGPD aplicada a dados sensíveis, incluindo técnicas de anonimização e mascaramento.
Requisitos obrigatórios
- Vertex AI (RAG Engine, Vertex AI Search, Agent Engine, Pipelines), Gemini e Model Armor.
- Frameworks de agentes (ADK, LangChain, LangGraph, CrewAI) e desenvolvimento de servidores MCP.
- Vector stores (Vertex AI Vector Search, AlloyDB com pgvector, BigQuery Vector Search); GraphRAG é um plus.
- Experiência no setor de saúde ou com padrões de dados clínicos (HL7, FHIR, Cloud Healthcare API).
- Data Mesh, arquitetura hub-and-spoke e FinOps no GCP.
- Certificação Google Cloud Professional Data Engineer, Professional Machine Learning Engineer ou FinOps Certified Practitioner.
- Comunicação clara com cientistas de dados, times de IA, áreas de negócio e parceiros externos.
- Disciplina de segurança e ética no tratamento de dados sensíveis de pacientes, especialmente quando consumidos por agentes autônomos.
- Capacidade de explicitar trade-offs técnicos (cópia de dados vs. acesso entre projetos, batch vs. streaming, custo vs. latência).
- Hábito de documentar e atribuir ownership de pipelines, fontes de dados e ferramentas entre os times.
Diferenciais
Competências comportamentais
Vaga Remota
Similar jobs
Search more Data Engineer jobsDesign and maintain ETL/ELT pipelines, modernize legacy data systems and SAS workflows, and build reliable data integrations and database structures for analytical and operational use.
Senior Data Engineer, Ads Data (AI Native)
Own and improve Life360’s Databricks ads data platform, building reliable pipelines, curated datasets, and trusted metrics while reducing runtime and cost and enabling analysts, ad strategists, and sales teams to self-serve insights.
Build and operate production data pipelines connecting CRM, Data Lake, and Adobe Experience Platform, while ensuring data quality, LGPD compliance, and reproducible engagement metrics.
Design, develop, and maintain scalable data pipelines and infrastructure, integrating data quality, governance, and dimensional modeling to support analytics and machine learning solutions for global clients.
