🕒 3 days ago
Design and operate scalable data pipelines and platform solutions, integrating diverse sources and ensuring reliable, high-quality data for analytics, reporting, and AI applications.
Engenheiro(a) de dados Sr
🕒 yesterday
Engenharia De DadosPythonScalaApache Spark
📜 Description
- Manter integrações de dados implantadas, garantindo a continuidade e eficiência dos processos.
- Apoiar áreas de negócio na definição e implementação de soluções de dados.
- Desenvolver e manter pipelines de ingestão de dados com AWS, Databricks e Cloudera.
- Implementar e otimizar processamento distribuído com Spark, Scala e Python.
- Consultar e manipular dados em Athena, Hive e MongoDB.
- Utilizar serviços AWS para armazenamento, processamento e análise de dados.
🛠️ Requirements
- Linguagem de programação Python e Scala (Spark);
- Conhecimento de ferramentas e boas práticas de engenharia de dados (Ingestão de dados, Transformação e armazenamento);
- Experiência em ferramentas de IA Claude code e Git Copilot;
- Conhecimento em banco de dados relacionais (SQL, Oracle e NoSql);
- Conhecimento em arquitetura Cloud (AWS);
- Conhecimento em arquitetura Databricks;
- Orquestração de pipelines Airflow;
- Ferramentas ETL ou ELT(Apache Nifi);
- Conceitos de BI.
- Desejável conhecimento de prática de desenvolvimento seguro.
Full job description
O SPC Brasil é uma organização de Gestão e Inteligência de Dados, oferecemos soluções a consumidores e empresários com o objetivo de facilitar a realização de negócios por meio de dados inteligentes e tecnologia.
O nosso objetivo é não apenas ser o maior banco de dados da América Latina, mas a principal plataforma integradora de informação e inteligência de dados, capaz de impulsionar e transformar toda a economia e a sociedade.
Priorizamos a inclusão de pessoas em nossos times, buscamos pessoas, independente de cor, gênero, raça, credo ou deficiência. Todos são bem vindos em nosso processo seletivo!
Responsibilities
- Suportar as integrações de dados já implantadas, garantindo a continuidade e eficiência dos processos.
- Apoiar a área de negócios na definição e implementação de soluções de dados que atendam às suas necessidades.
- Desenvolver e manter pipelines de ingestão de dados utilizando Aws, Databricks e Cloudera.
- Implementar e otimizar processos de processamento distribuído de dados com Spark, utilizando Scala e Python.
- Realizar consultas e manipulações de dados em Athena, Hive e MongoDB.
- Utilizar serviços da AWS para armazenamento, processamento e análise de dados.
- Desenvolvimento de pipelines no Databricks
Requirements
- Superior
- Linguagem de programação Python e Scala (Spark);
- Conhecimento de ferramentas e boas práticas de engenharia de dados (Ingestão de dados, Transformação e armazenamento);
- Experiência em ferramentas de IA Claude code e Git Copilot;
- Conhecimento em banco de dados relacionais (SQL, Oracle e NoSql);
- Conhecimento em arquitetura Cloud (AWS);
- Conhecimento em arquitetura Databricks;
- Orquestração de pipelines Airflow;
- Ferramentas ETL ou ELT(Apache Nifi);
- Conceitos de BI.
- Desejável conhecimento de prática de desenvolvimento seguro.
Similar jobs
Search more Data Engineer jobs
🕒 yesterday
Build and scale data pipelines, integrations, and models connecting product, customer, sales, and revenue data to power enterprise reporting, forecasting, customer intelligence, and GTM decisions.
🕒 2 days ago
Design the semantic layer, mobility-domain ontologies, and text-to-SQL agents that help analysts and AI systems query an AWS data platform reliably, while setting agent-ready data standards and mentoring engineers.
🕒 2 days ago
Own the design, delivery, and reliability of complex data pipelines and models across Azure and Snowflake, enabling trusted data for business decisions while setting engineering standards and mentoring colleagues.
🕒 2 days ago
Own the architecture and evolution of a biomedical data platform, building reliable, validated data systems and pipelines that make complex scientific datasets usable for machine learning and research.