The Data Engineer will design, develop, and optimize data engineering solutions to ensure reliable information integration and availability for analytical and operational initiatives.
Engenheiro de Dados - Airflow/AWS
📜 Description
- Develop, maintain, and evolve data pipelines using Apache Airflow (MWAA);
- Build processes for data ingestion, transformation, and availability (ETL/ELT);
- Develop solutions using Python, Spark, and AWS services;
- Implement and sustain data architectures in Data Lake, Lakehouse, and Data Warehouse environments;
- Model data to meet analytical and business demands;
- Ensure quality, governance, and observability of processed data;
🛠️ Requirements
- Solid experience with Apache Airflow (MWAA) for orchestrating data pipelines;
- Development in Python for building and maintaining ETL/ELT processes;
- Advanced knowledge of SQL Server;
- Experience with Apache Spark for processing large volumes of data;
- Familiarity with AWS services, especially Redshift, S3, Glue, and MWAA;
- Knowledge in data modeling for analytical environments;
- Experience with Data Warehouse, Data Lake, and Lakehouse;
- Understanding of Medallion Architecture (Bronze, Silver, and Gold);
Full job description
No Grupo Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.
Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!
Junte-se a nós e seja parte da mudança!
#LI-REMOTE
#LI-LV1
Responsibilities
Buscamos um(a) Engenheiro(a) de Dados com sólida experiência em ambientes cloud e forte atuação com Apache Airflow para integrar um projeto estratégico de transformação e modernização da plataforma de dados. O profissional será responsável pela construção, evolução e sustentação de pipelines de dados escaláveis, atuando em conjunto com times multidisciplinares para garantir a disponibilidade, qualidade e governança das informações.
🚀 Atividades:
🔹 Desenvolver, manter e evoluir pipelines de dados utilizando Apache Airflow (MWAA);
🔹 Construir processos de ingestão, transformação e disponibilização de dados (ETL/ELT);
🔹 Desenvolver soluções utilizando Python, Spark e serviços AWS;
🔹 Implementar e sustentar arquiteturas de dados em ambientes Data Lake, Lakehouse e Data Warehouse;
🔹 Realizar modelagem de dados para atender demandas analíticas e de negócio;
🔹 Garantir a qualidade, governança e observabilidade dos dados processados;
🔹 Monitorar e otimizar o desempenho dos pipelines e processos de dados;
🔹 Atuar em conjunto com equipes de negócio, analytics e tecnologia para evolução da plataforma de dados;
🔹 Apoiar a definição de boas práticas, padrões e melhorias contínuas no ecossistema de dados.
Requirements
🎯 Requisitos:
✅ Experiência sólida com Apache Airflow (MWAA) para orquestração de pipelines de dados;
✅ Desenvolvimento em Python para construção e manutenção de processos ETL/ELT;
✅ Conhecimentos avançados em SQL Server;
✅ Experiência com Apache Spark para processamento de grandes volumes de dados;
✅ Vivência com serviços AWS, especialmente Redshift, S3, Glue e MWAA;
✅ Conhecimento em modelagem de dados para ambientes analíticos;
✅ Experiência com Data Warehouse, Data Lake e Lakehouse;
✅ Conhecimento em Arquitetura Medalhão (Bronze, Silver e Gold);
✅ Vivência com governança, qualidade e observabilidade de dados;
✅ Experiência em desenvolvimento, otimização e monitoramento de pipelines de dados.
Similar jobs
Search more Data Engineer jobsDesign, develop, and maintain data engineering solutions to ensure reliable information integration and processing for analytical and business initiatives.
Engenheiro de Dados - Pleno
As a Data Engineer, you will design, implement, and optimize ETL pipelines, manage cloud functions, and ensure data quality and observability.
The Data Engineer develops and maintains data pipelines using Python and SQL Server, supporting data integration and operations within a modern Azure-based data platform.
People Data Engineer - 100% Remote Job.
The People Data & AI Readiness Engineer is responsible for building and maintaining the data architecture that supports people analytics and AI solutions, ensuring data quality and governance.
