CAS | Engenharia de Dados SR

O Sicredi é uma instituição financeira cooperativa que acredita na força da colaboração para construir uma sociedade mais próspera. Com foco no desenvolvimento das pessoas e na geração de valor para seus associados, promove um ambiente de trabalho inovador, colaborativo e de aprendizado contínuo.

Esta oportunidade é para atuar no desenvolvimento de soluções da Plataforma de Dados e Analytics do Sicredi, utilizando uma arquitetura moderna e tecnologias de ponta voltadas ao processamento de grandes volumes de dados. A posição tem forte impacto na geração de valor para o negócio, com incentivo à troca de conhecimentos, certificações e reconhecimento do trabalho técnico. A atuação envolve construção de soluções escaláveis, governança, qualidade e segurança dos dados, em parceria com diferentes perfis de dados e áreas de negócio.

Responsibilities

• Desenvolvimento de framework de Dados: Criar e manter módulos da plataforma de dados escaláveis e reutilizáveis para processar e armazenar dados;
• Armazenamento de Dados: Projetar e gerenciar os repositórios, garantindo que os dados sejam armazenados de forma eficiente e segura;
• Processamento de Dados: Transformar dados brutos em formatos utilizáveis, utilizando ferramentas como Databricks e outras soluções de ETL (Extração, Transformação e Carga);
• Garantia do monitoramento sobre a Qualidade dos Dados: Implementar processos para monitorar a precisão, consistência e integridade dos dados;
• Segurança dos Dados: Proteger os dados contra acessos não autorizados através de medidas de segurança como criptografia e controle de acesso;
• Colaboração com Equipes: Trabalhar em estreita colaboração com os perfis de dados e áreas de negócio para entender suas necessidades;
• Monitoramento e Otimização: Monitorar o desempenho da plataforma de dados e implementar melhorias para otimizar a eficiência e a escalabilidade;
• Documentação: Documentar processos e procedimentos de engenharia de dados para garantir que as práticas sejam replicáveis e compreensíveis para outros membros da equipe.

Requirements

• Conhecimento de linguagens de programação como Python, Java, Scala e SQL;
• Conhecimento de bancos de dados relacionais (como MySQL e Oracle) e não relacionais, como MongoDB;
• Conhecimento de ferramentas de armazenamento em nuvem, como Amazon S3 ou outras soluções cloud;
• Experiência em ETL (Extract, Transform, Load) para extração, transformação e carga de dados;
• Conhecimento em armazenamento e processamento distribuído utilizando ferramentas de Big Data, como Hadoop, Spark e Kafka;
• Conhecimento de arquiteturas de dados, com capacidade para desenhar e implementar soluções escaláveis e robustas;
• Comunicação assertiva e fluida com diferentes perfis de dados e áreas de negócio.

Desejáveis

• Conhecimento ou vivência com Databricks;
• Vivência em ambientes de Plataforma de Dados e Analytics;
• Interesse por aprendizado contínuo, compartilhamento de conhecimento, especializações e certificações.