🕒 6 days ago
Build and optimize cloud-native data platforms and distributed pipelines for scientific research, analytics, and machine learning workflows, partnering with scientists and engineers in a fusion energy R&D environment.
Software Engineer (Python)
🕒 7 days ago
PythonData EngineeringETLApache Spark
📜 Description
- Develop and maintain Python ETL pipelines and batch processing.
- Build, test, and evolve data applications and integrations.
- Collaborate with engineering and data science teams to build and optimize data flows.
- Test technologies, propose architectures, create proofs of concept, and participate in technical discussions.
- Write, review, and optimize complex SQL queries.
- Contribute to integrated test automation and quality assurance in agile, multidisciplinary squads.
🛠️ Requirements
- Back-end development experience with Python.
- Experience with Databricks and Apache Spark.
- Knowledge of developing and consuming REST APIs using JSON.
- Experience with AWS services, Git, and CI/CD tools such as Jenkins or GitLab.
- Knowledge of MongoDB and relational databases, especially Oracle.
- Advanced SQL skills and experience with agile, multidisciplinary teams.
- Desirable: Terraform, Denodo, Power BI, data architecture, analytics platforms, regulated or financial projects, or React.
Full job description
O que buscamos?
Profissional com sólida experiência em Engenharia de Dados e desenvolvimento Python,. Buscamos alguém com perfil colaborativo, que goste de ambientes ágeis, possua visão de arquitetura, seja capaz de propor soluções inovadoras e tenha interesse em explorar novas tecnologias para geração de valor ao negócio.
Responsibilities
O que você irá fazer:;
- Testar novas tecnologias, propor arquiteturas, realizar provas de conceito (POCs) e participar de alinhamentos técnicos com áreas internas e fornecedores;
- Atuar em squads ágeis multidisciplinares, contribuindo para todo o ciclo de desenvolvimento das soluções;
- Desenvolver e manter pipelines de ETL e processamentos batch utilizando Python;
- Colaborar com times de Engenharia e Ciência de Dados na construção e otimização de fluxos de dados;
- Desenvolver, testar e evoluir aplicações e integrações de dados;
- Escrever, revisar e otimizar consultas SQL complexas;
- Participar da automação de testes integrados e garantia da qualidade das entregas;
- Gerenciar e versionar código utilizando Git;
- Trabalhar com bancos de dados relacionais (Oracle) e NoSQL (MongoDB);
- Explorar e implementar novas tecnologias que contribuam para a evolução da plataforma de dados.
Requirements
O que você precisa ter:
- Experiência em desenvolvimento back-end utilizando Python;
- Vivência com Databricks e Apache Spark;
- Conhecimento em desenvolvimento e consumo de APIs RESTful utilizando JSON;
- Experiência com serviços AWS para soluções em nuvem;
- Proficiência em Git para controle de versionamento;
- Experiência com ferramentas de CI/CD, como Jenkins e GitLab;
- Conhecimento em MongoDB;
- Conhecimentos avançados em SQL;
- Experiência com bancos de dados relacionais, especialmente Oracle;
- Vivência em metodologias ágeis e equipes multidisciplinares.
Experiências Desejáveis:
- Conhecimento em Infraestrutura como Código (IaC) utilizando Terraform;
- Experiência ou conhecimento em Denodo;
- Conhecimento em Power BI;
- Experiência com arquitetura de dados e plataformas analíticas;
- Vivência em projetos voltados para risco, financeiro ou ambientes regulados;
- Experiência em React.
Similar jobs
Search more Data Engineer jobs
🕒 7 days ago
Build and validate Databricks data pipelines for pilots, proof-of-concept solutions, and production workflows, applying medallion architecture, governance tagging, data protection policies, and quality controls.
Data Engineer (Remote, Continental United States)
🕒 yesterday
International-Consulting-Associates-Inc👥 11 - 50 employees🏢 Management Consulting
🕒 yesterday
Build and maintain reliable data pipelines and platforms, transforming structured and unstructured data into dependable datasets for analytics, applications, and AI initiatives using Python, SQL, and AWS.
🕒 5 days ago
Own and improve credit bureau reporting pipelines, from data preparation and validation through submissions and reconciliation, while investigating discrepancies and ensuring accurate, timely customer account reporting.
📍 🇧🇷 Brazil - Remote💰 $2.8k - $4.5k / month💼 Full-Time🎹 Mid-level🛢️ Data Engineer📢 🇬🇧 English Required
🕒 6 days ago
Projeta, desenvolve e mantém plataformas de dados corporativos, pipelines ETL/ELT e ferramentas de qualidade de dados para viabilizar insights sobre clientes e processar grandes volumes de informação.