Engenheiro(a) de Plataforma de Dados Sênior (Base em SP, RJ ou BH)

Somos aliados do médico durante toda a sua jornada e buscamos por pessoas que se identifiquem com nosso propósito, valores e cultura para se juntarem ao nosso time. Vamos juntos transformar a saúde com quem tem a medicina como vocação!

Esta é uma vaga aberta na frente de Soluções para a Prática Médica para trabalhar de forma remota na cidade de São Paulo, Rio de Janeiro , Belo horizonte e Ribeirão Preto.

Ao assumir o cargo de Engenheiro(a) de Plataforma de Dados Sr na Afya, seu objetivo principal será desenvolver, dar manutenção, otimizar e ativamente identificar oportunidades para a plataforma de dados.

Você atuará na área de Engenharia de Dados dentro da diretoria de Foundation e fará parte de uma equipe multidisciplinar, relacionando-se no dia a dia com pessoas de times como SRE, Análise de Dados e Governança de Dados.

♿ Todas as nossas oportunidades são abertas a pessoas com deficiência (PcD) e reabilitadas do INSS.

Responsibilities

💻🩺 COMO VOCÊ VAI TRANSFORMAR A SAÚDE NO DIA A DIA:

• Alterar ou criar recursos em clouds (AWS e Azure);
• Alterar ou criar novos recursos no Databricks;
• Alterar ou criar novos recursos de aplicações em Kubernetes;
• Propor e implementar melhorias de arquitetura;
• Implementar controles relacionados a LGPD no data lake;
• Implementar dashboards e análises de metadados do Databricks para controle e compliance;
• Realizar auditorias em conjunto com o time de governança para adequar o data lake as regras de segurança da empresa;
• Atuar no monitoramento e análise de custos para identificar gargalos e oportunidades de redução de custos;
• Atuar em conjunto com os times de análise de dados e AI para otimizar jobs e recursos;
• Atuar em conjunto com outros engenheiros de plataforma para auxiliar no desenvolvimento de habilidades;
• Atuar como ponto de referência para questões técnicas da plataforma, tanto para stakeholders de dados quanto de negócio e produto.

Requirements

🔎 O QUE BUSCAMOS (mas não esperamos que uma única pessoa atenda a todos os requisitos):

• Ensino superior completo;
• Conhecimento sólidos de bancos de dados relacionais e não relacionais, padrões, modelagem e casos de uso;
• Experiência em linguagem de programação para manutenção de pipeline de dados (Python, shell/bash) e manipulação de arquivos para esse propósito, por exemplo: JSONs, Parquet, CSV;
• Experiência com consumo de APIs, limpeza, tratamento, deduplicação, enriquecimento e normalização de dados;
• Experiência em infraestrutura para messageria utlizando Kafka + Debezium;
• Experiência em infraestrutura de cluster Kubernetes, tais como EKS e AKS;
• Conhecimento sólido de linguagem SQL e conhecimento básico em DBT;
• Experiência em projetos em cloud computing (principalmente AWS e/ou Azure);
• Experiência de Gitflow e versionamento;
• Experiência em IaC (Terraform)
• Experiência em processamento distribuído (Databricks/Spark);
• Experiência em Docker;
• Experiência em ferramentas de orquestração, como Apache Airflow, Databricks Workflows;
• Conhecimento sobre arquitetura de dados;
• Experiência em criação de pipelines de CI/CD;
• Experiência de ferramentas de observabilidade (Grafana/Cloudwatch)