This role combines modern data engineering with Generative AI, focusing on designing scalable data platforms and pipelines while building production-grade solutions using LLMs and AI agents.
Pessoa Engenheira de Dados Sênior
📜 Description
- Participate in understanding business needs to ensure value delivery.
- Design architecture and evaluate technologies to solve the right problems.
- Develop and evolve scalable data pipelines for generative AI models.
- Implement data pipelines for data democratization in a Data Mesh architecture.
- Create reusable components like connectors, APIs, and SDKs, integrating with LLM APIs.
- Prototype intelligent agents using frameworks like LangChain and CrewAI.
🛠️ Requirements
- Knowledge in large-scale data processing and distributed processing (Apache Spark, Hadoop, Hive).
- Practical experience in ELT using dbt, Data Lake/Lakehouse, and orchestration with Airflow.
- Experience with AWS Data & Analytics services (Glue, EMR, Athena, Quicksight).
- Proficiency in Python programming.
- Expertise in AWS services (S3, Lambda, SQS, DynamoDB, API Gateway).
- Familiarity with LLMs and practical applications of embeddings and RAG.
✨ Benefits
- Freedom to work from anywhere.
- Flexible hours.
- Education assistance.
- Internal guilds and study groups.
- Health insurance.
- Dental insurance.
- Telemedicine available 24x7.
- Online therapy.
Full job description
Por que ser zupper?
Vamos direto ao ponto: o que oferecemos é um ambiente de crescimento exponencial. Mais do que palavras bonitas, isso significa que oferecemos todas as oportunidades para que você possa protagonizar sua evolução e todo o suporte necessário.
Como protagonismo sem apoio não gera desenvolvimento acelerado, além de oportunidades, cada zupper tem um plano de desenvolvimento de carreira, acompanhamento próximo por uma pessoa do time de People e acesso a uma plataforma proprietária que tangibiliza o sentimento de progresso.
E por que fazemos tudo isso?
Porque acreditamos que somente um ambiente de crescimento exponencial vai nos fazer chegar aonde queremos: usar a tecnologia para transformar a vida de pessoas, potencializar talentos desperdiçados por falta de acesso e posicionar regiões desprivilegiadas como pólos de tecnologia de qualidade.
Ah, e não podemos esquecer: na Zup acreditamos na #Liberdade! Com isso, zuppers podem trabalhar de onde quiserem, seja home office, em nossos escritórios ou em um modelo híbrido
O que você fará por aqui
- Participar do processo de entendimento das necessidades do negócio ,entendendo e garantindo a entrega de valor;
- Desenhar a arquitetura e avaliar as tecnologias disponíveis para resolver o problema certo;
- Desenvolver e evoluir pipelines de dados escaláveis e preparados para alimentar modelos de IA Generativa e soluções de RAG;
- Implementar pipelines de Dados para democratização de dados em uma arquitetura Data Mesh, criando camadas semânticas e dados estruturados para consumo por IA;
- Combinar a arquitetura e tecnologia para desenvolver e entregar componentes reutilizáveis como conectores, APIs, SDKs, CLIs, integrando com APIs de LLMs (OpenAI, Claude, Gemini);
- Prototipar agentes inteligentes utilizando frameworks como LangChain, LangGraph e CrewAI, avaliando custo, latência e qualidade das integrações;
- Testar e automatizar tudo que for possível;
- Validar e adaptar os componentes de acordo com os feedbacks dos usuários;
- Colaborar com a qualidade e inovação tecnológica do produto e ambiente de trabalho.
O que esperamos que você saiba
- Conhecimento em processamento de dados em larga escala, processamento paralelo e distribuído (Apache Spark, Hadoop, Hive, etc);
- Experiência prática em ELT utilizando dbt, Data Lake/Lakehouse e orquestração com Airflow;
- Experiência com serviços de Data & Analytics da nuvem AWS (Glue, EMR, Athena, Quicksight);
- Conhecimento de linguagem de programação Python;
- Domínio sobre os principais serviços da Cloud AWS (S3, Lambda, SQS, DynamoDB, API Gateway);
- Proficiência no uso de LLMs, aplicação prática de embeddings, RAG (Retrieval-Augmented Generation) e Bancos Vetoriais (Pinecone, Milvus, pgvector, Qdrant, etc.);
- Habilidade em Engenharia de Prompts e orquestração com frameworks como LangChain ou LangGraph;
- Atuação prática consistente com bases de dados relacionais (SQL) e NoSQL (documentos e chave-valor);
- Domínio de práticas de DevOps e infraestrutura como código (Terraform, CodePipeline, etc).
O que seria muito legal se você soubesse
- Experiência anterior em iniciativas de democratização de dados com Data Mesh;
- Experiência em avaliação comparativa entre diferentes LLMs de mercado considerando custo-benefício e latência;
- Experiência com IA generativa ou ferramentas de automação aplicadas a pipelines de dados, como geração assistida de código, documentação automatizada ou monitoramento inteligente de qualidade de dados;
- Conhecimentos de Observability (Cloudwatch, CloudTrail, Prometheus, AppDynamics, Splunk, ElasticSearch, Grafana e etc.);
- Conhecimento em técnicas avançadas de cache para sistemas escaláveis de IA;
- Ter experiência no desenvolvimento de soluções para instituições financeiras.
O que te oferecemos
Aqui não é só a sua carreira que importa, queremos que você tenha saúde e bem estar físico e mental para a melhor jornada de experiência profissional e pessoal da sua vida.
Carreira
- Liberdade para trabalhar de onde quiser
- Horários flexíveis*
- Auxílio Educação
- Ferramenta própria de desenvolvimento de carreira
- Guildas internas e outros grupos de estudo e interesse
Saúde e bem-estar
- Plano saúde
- Plano odontológico
- Parceria na compra de medicamentos
- Telemedicina: assistência médica disponível 24x7
- Terapia online gratuita
- Wellhub
- Licença maternidade estendida
- Licença paternidade estendida
- CAZ – Central de Atendimento a Zuppers
Conforto financeiro
- Vale-refeição e alimentação
- Seguro de vida
- Vale-transporte
- Auxílio home office
- Auxílio Creche
- Auxílio plano telefônico
- Participação em Lucros e Resultado
Se você está pronto para transformar dados em decisões estratégicas e quer fazer parte de um ambiente que valoriza a inovação e o crescimento, venha ser um zupper! 🚀
Similar jobs
Search more Data Engineer jobsSenior Data Engineer (Rust)
Lead the architecture and scaling of high-throughput data services and ingestion pipelines while building ultra-low-latency data infrastructure using Rust.
Senior Python Data Engineer (OCR & Document Processing)- remote
Design and optimize scalable data ingestion and document processing solutions to transform unstructured insurance data into structured, AI-ready information.
As a Senior Data Engineer, you will design and maintain scalable data pipelines, ensuring data quality and reliability while taking ownership of complex engineering challenges.
As a Staff Data Engineer at Afresh, you will lead the development of our analytics platform, enhancing data models and governance to support impactful data products for grocery analytics.
