Desenvolve e mantém pipelines de dados em AWS, Databricks e Cloudera, otimiza processamento distribuído com Spark e apoia áreas de negócio na implementação de soluções de dados.
Analista de Sistemas Sênior (Engenheiro de Dados)
📜 Description
- Projetar e evoluir pipelines escaláveis com Apache Spark, PySpark e Spark SQL.
- Definir padrões de arquitetura de dados, incluindo Medallion Architecture.
- Contribuir para decisões arquiteturais e a evolução da plataforma de dados.
- Implementar soluções com Delta Lake e governança e segurança com Unity Catalog.
- Desenvolver soluções analíticas e orquestrar pipelines com Databricks SQL, SQL Warehouses e Databricks Workflows.
- Estruturar CI/CD e versionamento, integrar fontes de dados cloud e otimizar performance e custos.
🛠️ Requirements
- Experiência sólida em engenharia de dados em ambientes Cloud;
- Experiência prática com a plataforma Databricks em cenários produtivos;
- Capacidade de atuar em decisões arquiteturais e definição de padrões;
- Conhecimento em modelagem de dados e boas práticas de engenharia;
- Experiência com versionamento, automação e CI/CD;
- Perfil proativo, analítico e com boa comunicação.
Full job description
Somos uma empresa que cuida da Nossa Gente, zela pela simplicidade, valoriza o Ser Humano e acredita no poder da diversidade e inclusão. Estamos com uma posição de Analista Sistemas Sr (Engenharia de Dados), também aberta para inscrição de Pessoa com Deficiência.
Já pensou em trabalhar na empresa de atacado de autosserviço que mais cresce no Brasil, uma das maiores empregadoras do país, que também carrega uma das Marcas Mais Valiosas? E com o nosso processo de expansão acelerado estamos crescendo e trazendo cada vez mais pessoas para fazerem parte do nosso time.
Afinal, o crescimento do nosso negócio significa o crescimento da Nossa Gente.
#vemSerAssaí
Responsibilities
Estamos em busca de um (a) Engenheiro (a) de Dados Sênior para atuar em uma arquitetura moderna de dados em Cloud, utilizando a plataforma Databricks como pilar central de processamento, governança e analytics.
O (a) profissional terá papel fundamental na definição de padrões, evolução da arquitetura e construção de pipelines escaláveis, apoiando iniciativas estratégicas de dados e analytics.
Principais Responsabilidades:
- Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando Apache Spark (PySpark e Spark SQL);
- Definir e aplicar padrões de arquitetura de dados, utilizando conceitos como Medallion Architecture (Bronze, Silver e Gold);
- Atuar na evolução da plataforma de dados, contribuindo com decisões arquiteturais e boas práticas;
- Implementar soluções com Delta Lake, garantindo confiabilidade, performance e governança dos dados;
- Atuar na governança e segurança por meio do Unity Catalog, assegurando controle de acessos e conformidade;
- Desenvolver soluções analíticas com Databricks SQL e SQL Warehouses;
- Orquestrar pipelines com Databricks Workflows, garantindo eficiência operacional;
- Estruturar processos de CI/CD e versionamento utilizando Databricks Asset Bundles, YAML e integração com Git;
- Otimizar performance e custo da plataforma, incluindo gerenciamento de clusters e workloads;
- Integrar múltiplas fontes de dados em ambientes cloud (especialmente ADLS);
- Atuar em pipelines batch e streaming conforme necessidade de negócio;
- Colaborar com times técnicos e de negócio, garantindo entendimento e entrega de valor.
Requirements
- Experiência sólida em engenharia de dados em ambientes Cloud;
- Experiência prática com a plataforma Databricks em cenários produtivos;
- Capacidade de atuar em decisões arquiteturais e definição de padrões;
- Conhecimento em modelagem de dados e boas práticas de engenharia;
- Experiência com versionamento, automação e CI/CD;
- Perfil proativo, analítico e com boa comunicação.
Diferenciais:
- Experiência com definição de padrões e governança de dados em ambientes corporativos;
- Vivência com otimização de performance em grandes volumes de dados;
- Conhecimento em processamento de dados em tempo real (streaming);
- Experiência com infraestrutura como código ou automação de ambientes;
- Familiaridade com boas práticas de segurança e controle de acesso a dados.
Similar jobs
Search more Data Engineer jobsDesign the semantic layer, mobility-domain ontologies, and text-to-SQL agents that help analysts and AI systems query an AWS data platform reliably, while setting agent-ready data standards and mentoring engineers.
Build and scale data pipelines, integrations, and models connecting product, customer, sales, and revenue data to power enterprise reporting, forecasting, customer intelligence, and GTM decisions.
Own the design, delivery, and reliability of complex data pipelines and models across Azure and Snowflake, enabling trusted data for business decisions while setting engineering standards and mentoring colleagues.
Own the architecture and evolution of a biomedical data platform, building reliable, validated data systems and pipelines that make complex scientific datasets usable for machine learning and research.
