🕒 2 days ago
As a Senior Data Engineer, you will build and operate large-scale data and machine learning pipelines, collaborating with Data Scientists and ML Engineers to enhance production workflows.
Engenheiro de Dados Sr
📅 Sep 1
Data EngineeringPythonSQLETL
📜 Description
- Develop ingestion, transformation, and data availability pipelines.
- Implement integrations using Informatica IICS and Azure components.
- Create reusable components for processing across business units.
- Build reconciliation and validation mechanisms before and after processing.
- Implement error handling, reprocessing, and historical controls.
- Develop routines using Python and SQL, supporting analytical dataset structuring and feature engineering for AI/ML initiatives.
🛠️ Requirements
- Solid experience in Data Engineering.
- Advanced Python and SQL skills.
- Experience with ETL/ELT pipelines.
- Familiarity with Microsoft Azure data services.
- Knowledge of ADLS Gen2 and relational databases.
- Experience or relevant knowledge in Informatica IICS / Informatica Cloud.
- Version control experience with Git.
- Understanding of CI/CD and data quality monitoring.
Full job description
Transforme o futuro com a Minsait
Na Minsait, acreditamos na tecnologia como força para transformar realidades e gerar impacto positivo. Desenvolvemos soluções que conectam inovação, eficiência e progresso em setores essenciais como administração pública, telecomunicações & mídia, energia & utilities, indústria & consumo, saúde e finanças.
Aqui, você encontra um ambiente que valoriza a autonomia, a colaboração e o crescimento contínuo, com projetos desafiadores e oportunidades reais de desenvolvimento.
Nosso jeito de ser
- Inovamos com propósito
- Crescemos com responsabilidade
- Valorizamos a diversidade e quem transforma
Valores
- Inovação, conexão, confiança e antecipação de futuro
Se você busca desafios com significado, a Minsait é o seu lugar.
Responsibilities
Objetivo do cargo: Responsável pela construção e evolução das integrações, pipelines e regras de processamento de dados que suportarão o MAPR, os produtos analíticos e os MVPs de Monetização de Dados
Principais responsabilidades: Desenvolver pipelines de ingestão, transformação e disponibilização de dados.
Implementar integrações utilizando Informatica IICS e componentes Azure. Implementar regras de negócio associadas aos Drivers/Motores do MAPR. Desenvolver componentes reutilizáveis para processamento das diferentes unidades de negócio.
Construir mecanismos de reconciliação e validação antes e depois do processamento. Implementar tratamentos de erro, reprocessamento e controles de histórico. Desenvolver mecanismos de logging, monitoramento e rastreabilidade.
Implementar GuardRails e controles automáticos de qualidade dos dados.
Desenvolver rotinas utilizando Python e SQL. Apoiar estruturação de datasets analíticos e feature engineering para iniciativas de IA/ML. Implementar testes unitários e integrados das soluções desenvolvidas.
Participar de code reviews e definição de padrões técnicos. Documentar pipelines, transformações, dependências e regras implementadas. Apoiar homologação e resolução de incidentes durante Go Live e estabilização.
Requisitos obrigatórios Experiência sólida em Engenharia de Dados. Python avançado. SQL avançado.
Experiência com pipelines ETL/ELT. Experiência com serviços de dados Microsoft Azure.
Conhecimento de ADLS Gen2 e bancos relacionais.
Experiência ou conhecimento relevante em Informatica IICS / Informatica Cloud. Versionamento de código com Git.
Conhecimento de CI/CD. Experiência com qualidade de dados, tratamento de erros e monitoramento.
Conhecimento de modelagem de dados.
Requirements
Similar jobs
Search more Data Engineer jobs🕒 2 days ago
As a Senior Data Engineer, you will build and operate large-scale data and machine learning pipelines, collaborating closely with Data Scientists and ML Engineers to enhance production workflows.
🕒 2 days ago
As a Senior Data Engineer, you will build and operate large-scale data and machine learning pipelines, collaborating with Data Scientists and ML Engineers to enhance production workflows.
🕒 2 days ago
As a Senior Data Engineer, you will build and operate large-scale data and machine learning pipelines, focusing on Python, AWS, and ETL processes to enhance data-driven solutions.
🕒 2 days ago
As a Senior Data Engineer, you will build and operate large-scale data and machine learning pipelines, collaborating with Data Scientists and ML Engineers to enhance production workflows.