Build and maintain real-time, batch, and streaming data pipelines, warehouse infrastructure, and dbt models while supporting analytics and data quality across business teams.
Engenheiro de Dados e Plataforma de Agentes Sênior (AWS)
📜 Description
- Construir pipelines de ingestão, limpeza, chunking e vetorização para Bedrock Knowledge Bases e agentes.
- Centralizar dados para uso em BI e nas bases de conhecimento dos agentes, definindo schemas, frescor e SLAs.
- Apoiar a orquestração multiagente com Strands Agents, Bedrock e AgentCore, além de expor sistemas internos por ferramentas MCP.
- Projetar memória compartilhada e comunicação entre agentes, com isolamento de contexto, idempotência, retries e proteção contra loops.
- Implementar acesso seguro entre contas AWS, infraestrutura como código, governança de dados, controle de custos e observabilidade.
- Apoiar resiliência e recuperação de desastres com filas, multirregião e degradação controlada.
🛠️ Requirements
- Domínio sólido de Python e SQL; experiência com S3, Glue, Athena, IAM, Lake Formation e KMS.
- Experiência com Terraform, CI/CD e ambientes AWS multiconta.
- Conhecimento de arquitetura orientada a eventos e sistemas distribuídos, incluindo filas, retries, idempotência e consistência.
- Experiência construindo ou operando ao menos uma aplicação com LLM em produção, como RAG ou agente com ferramentas.
- Noções de FinOps na AWS, incluindo tags, Cost Explorer e orçamentos.
- Diferenciais: Bedrock, AgentCore, frameworks de agentes, MCP, A2A, bancos vetoriais, MLOps/LLMOps, Data Mesh e serviços financeiros regulados.
- Comunicação clara, rigor com dados sensíveis, capacidade de avaliar trade-offs e autonomia para documentar responsabilidades.
Full job description
A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.
Isso não poderia ser diferente com o nosso principal combustível: as pessoas!
Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.
Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.
Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!
>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.
Cadastre-se agora mesmo em nossas vagas!
Responsibilities
Buscamos um profissional de engenharia de dados para atuar na construção da plataforma de IA generativa de uma instituição do setor financeiro, em ambiente AWS multiconta. O cenário envolve arquitetura de referência de IA, RAG sobre bases internas e múltiplos agentes em produção que colaboram entre si, com um orquestrador distribuindo o trabalho entre agentes especializados. O ambiente começa na região da Virgínia (us-east-1) e será migrado para São Paulo por exigências regulatórias.
Esse profissional será a ponte entre o time de dados e o time de IA, com a responsabilidade de garantir que o pipeline entre as contas e a camada que entrega dados, ferramentas e memória aos agentes tenham um dono claro.
Principais responsabilidades
- Construir e manter os pipelines que alimentam o Bedrock Knowledge Base e os agentes, cobrindo ingestão, limpeza, chunking e vetorização.
- Centralizar os dados em uma fonte única que alimente tanto o BI quanto as bases de conhecimento dos agentes.
- Definir contratos de dados (schemas, frescor e SLAs) para cada fonte consumida pelos agentes.
- Dar suporte à orquestração multiagente (supervisor e subagentes, agentes como ferramentas, fluxos em grafo ou swarm) utilizando Strands Agents, colaboração multiagente do Bedrock e AgentCore (Runtime, Gateway, Memory e Identity).
- Expor dados e sistemas internos como ferramentas reutilizáveis via servidores MCP e AgentCore Gateway, com versionamento e catálogo de ferramentas.
- Desenhar a gestão de estado e memória compartilhada entre agentes (curto e longo prazo, por sessão e por usuário), garantindo isolamento entre contextos e clientes.
- Apoiar a comunicação entre agentes (protocolo A2A, eventos via EventBridge, SQS e Step Functions) com idempotência, timeouts, retries e proteção contra loops.
- Aplicar privilégio mínimo por agente e por ferramenta, com identidade própria, escopo de acesso a dados e trilha de auditoria de cada ação executada.
- Desenhar o acesso entre contas AWS (IAM roles cross-account e Lake Formation), evitando cópia de dados sempre que possível.
- Implantar toda a infraestrutura como código em Terraform, incluindo agentes, ferramentas e guardrails, para promover o que funciona do sandbox para produção.
- Aplicar tags, orçamentos e métricas de custo por área, projeto, modelo e agente, com visibilidade do custo por fluxo ou conversa.
- Garantir governança e privacidade (LGPD e residência de dados por região) antes de dados sensíveis entrarem no ambiente de IA, inclusive no que circula entre agentes e fica armazenado em memória.
- Implantar observabilidade de ponta a ponta, com rastreamento distribuído das chamadas entre agentes e ferramentas (OpenTelemetry, AgentCore Observability e CloudWatch), latência, tokens e taxa de erro por etapa.
- Dar suporte a resiliência e DR, com filas, multirregião e degradação controlada quando um agente ou ferramenta falha.
Requirements
Requisitos obrigatórios
- Domínio sólido de Python e SQL.
- Experiência com S3, Glue, Athena, IAM, Lake Formation e KMS.
- Experiência com Terraform e CI/CD.
- Experiência prática em ambientes multiconta na AWS.
- Conhecimento em arquitetura orientada a eventos e sistemas distribuídos (filas, retries, idempotência e consistência).
- Experiência construindo ou operando ao menos uma aplicação com LLM em produção (RAG ou agente com ferramentas).
- Noções de FinOps na AWS (tags, Cost Explorer e orçamentos).
Diferenciais
- Amazon Bedrock (Knowledge Bases, Guardrails e colaboração multiagente) e AgentCore.
- Frameworks de agentes como Strands, LangGraph ou CrewAI e padrões de orquestração multiagente.
- Construção de servidores MCP e protocolo A2A.
- Bancos vetoriais como S3 Vectors, OpenSearch ou Milvus. GraphRAG é um bônus.
- MLOps e LLMOps: avaliação de agentes e fluxos multiagente, guardrails, monitoramento de drift e de qualidade das respostas.
- Data Mesh e arquitetura hub-and-spoke.
- Certificações AWS Certified Data Engineer – Associate, AWS Certified Machine Learning Engineer – Associate ou FinOps Certified Practitioner.
- Experiência em serviços financeiros e em ambientes regulados.
Competências comportamentais
- Comunicação clara com cientistas de dados, áreas de negócio e parceiros externos.
- Postura de segurança e rigor com dados sensíveis, especialmente quando agentes agem de forma autônoma.
- Capacidade de decidir com trade-offs explícitos, como copiar dados ou acessar cross-account, um agente generalista ou vários especializados, memória compartilhada ou isolada.
- Autonomia para documentar e definir quem é dono de cada agente, ferramenta e fonte de dados entre os times.
Similar jobs
Search more Data Engineer jobsBuild and maintain real-time, batch, and streaming data pipelines and warehouse infrastructure, while supporting analytics and developing dbt models that improve data accessibility, quality, and decision-making.
Build and maintain real-time, batch, and streaming data pipelines and warehouse infrastructure, while supporting analytics and dbt modeling to improve data accessibility, quality, and decision-making.
Build and maintain real-time, batch, and streaming data pipelines, warehouse infrastructure, and dbt models while supporting analytics and data quality across business teams.
Build and govern Databricks data pipelines for migration reconciliation and reporting, expose validated results through an API, and orchestrate production workflows with data quality controls.
