Na CI&T, ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
Senior Data Developer (Databricks/ Espanhol), Brazil
📜 Description
- Desenvolver, manter e otimizar pipelines de dados financeiros com Databricks, PySpark, Python e SQL.
- Integrar novas fontes de dados e transformar dados brutos em conjuntos confiáveis e organizados.
- Apoiar reconciliações financeiras, rotinas de P&L e processos globais de fechamento.
- Processar dados estruturados e semiestruturados e otimizar transformações, armazenamento e consultas com Delta Lake e Lakehouse.
- Monitorar e solucionar problemas em pipelines, investigar discrepâncias e apoiar o processamento diário e mensal.
- Colaborar com equipes de finanças, tecnologia e dados em governança, qualidade, documentação e iniciativas de IA.
🛠️ Requirements
- Experiência sólida com Databricks, incluindo notebooks, jobs, workflows e clusters.
- Proficiência em PySpark, Python e SQL para processamento e transformação de dados.
- Experiência com Delta Lake, arquitetura Lakehouse e processamento incremental.
- Conhecimento do ecossistema Azure, especialmente Azure Data Lake Storage.
- Experiência com pipelines financeiros; reconciliação, P&L ou fechamento financeiro são diferenciais.
- Experiência em manutenção, troubleshooting, otimização e documentação de pipelines em produção.
- Capacidade de trabalhar com dados estruturados e semiestruturados, assegurando qualidade e rastreabilidade.
- Espanhol para interação com equipes globais, discussões técnicas e documentação.
Full job description
Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
Estamos procurando uma pessoa Engenheiro de Dados Sênior talentoso e experiente para se juntar ao nosso time e apoiar um parceiro estratégico na evolução, manutenção e melhoria contínua dos processos globais de fechamento financeiro.
Esse cargo vai se concentrar em apoiar a reconciliação de dados financeiros, rotinas de P&L, pipelines de dados existentes e a integração de novas fontes de dados. O profissional também vai contribuir para a criação de novos pipelines, melhorar a qualidade dos dados e apoiar iniciativas envolvendo modelos de IA e capacidades avançadas de dados.
Estamos procurando alguém prático, colaborativo e analítico, que goste de resolver desafios complexos de dados e construir soluções confiáveis e escaláveis que gerem impacto real nos negócios.
Responsabilidades:
- Desenvolvimento de Pipeline de Dados: Desenvolver, manter e melhorar pipelines de dados usando Databricks, PySpark, Python e SQL para transformar dados financeiros brutos em conjuntos de dados confiáveis e organizados. Integração de Dados: Integrar novas fontes de dados ao ecossistema existente, ajudando a expandir as capacidades da plataforma e melhorar a visibilidade dos negócios.
- Reconciliação de Dados Financeiros: Dar suporte às atividades de reconciliação financeira, rotinas de P&L e processos de fechamento global, garantindo consistência, precisão e rastreabilidade dos dados entre diferentes fontes.
- Processamento e Otimização de Dados: Processar grandes volumes de dados estruturados e semi-estruturados, otimizando transformações, formatos de armazenamento e desempenho de consultas usando as melhores práticas de Delta Lake e Lakehouse.
- Manutenção e Suporte de Pipelines: Monitorar, solucionar problemas e dar suporte aos pipelines existentes, identificando falhas, investigando discrepâncias e garantindo processamento confiável diário e mensal.
- Abordagens para melhorar o desempenho, a escalabilidade, a manutenibilidade e a qualidade dos dados em todo o ecossistema de dados financeiros.
- Colaboração com equipes multidisciplinares: Trabalhar de perto com engenheiros de dados, partes interessadas do negócio, equipes de finanças e equipes de tecnologia para entender as necessidades e entregar soluções de dados de alta qualidade.
- Governança e qualidade de dados: Apoiar a governança de dados, regras de validação, auditabilidade, documentação e controles para garantir dados financeiros confiáveis e bem gerenciados.
- Integração de IA: Apoiar iniciativas envolvendo modelos de IA e capacidades avançadas de dados, ajudando a integrar insights e automação baseados em IA nos fluxos de trabalho de dados.
Requisitos para este desafio:
- Experiência sólida com Databricks, incluindo notebooks, jobs, workflows, clusters e melhores práticas para construir soluções de dados escaláveis.
- Proficiência em processamento de dados usando PySpark, Python e SQL, com experiência prática em transformar dados brutos em conjuntos de dados confiáveis e bem organizados.
- Experiência com Delta Lake e arquitetura Lakehouse, incluindo tabelas Delta, processamento incremental, otimização de dados e camadas de dados estruturados.
- Conhecimento do ecossistema de dados do Azure, especialmente Azure Data Lake Storage, padrões de integração de dados e processamento de dados na nuvem.
- Experiência em suporte a pipelines de dados financeiros, de preferência envolvendo reconciliação, P&L, fechamento financeiro ou outros processos críticos de negócios.
- Experiência prática em manter e melhorar pipelines existentes, incluindo resolução de problemas, otimização de desempenho, documentação e suporte à produção.
- Capacidade de trabalhar com dados estruturados e semiestruturados, garantindo qualidade, rastreabilidade e preparação para análises e uso estratégico do negócio.
- Mentalidade de resolução de problemas, com a capacidade de investigar dados complexos, entender causas raiz e propor soluções práticas em ambientes de dados desafiadores. Interesse ou experiência com modelos de IA e capacidades avançadas de dados, apoiando a integração de soluções baseadas em IA nos fluxos de trabalho de dados.
- Espanhol para interação com equipes globais, discussões técnicas e documentação.
Diferenciais:
- Familiaridade com frameworks e metodologias de IA. Experiência com capacidades avançadas, como otimização do Delta Lake, Databricks Workflows e Databricks Apps ou Streamlit. Experiência com práticas de qualidade e observabilidade de dados, incluindo regras de validação, checagens de reconciliação, monitoramento, logs, alertas e métricas de execução de pipelines.
Similar jobs
Search more Data Engineer jobsExtract, transform, and validate clinical and administrative data from ambulatory EHR/EMR systems, building governed data pipelines and audit-ready calculations for CMS MIPS and value-based care reporting.
Design and deliver AI-ready data platforms, pipelines, and semantic layers for client engagements, translating business needs into scalable analytics solutions and supporting AI-enabled workflows from design through production.
Design end-to-end analytical data solutions for client engagements, building cloud data platforms and production pipelines while advising stakeholders and supporting the deployment of data science and ML projects.
Engenheiro de Dados Sênior (AWS - PySpark - Kafka)
Projeta e opera plataformas de dados orientadas a eventos na AWS, desenvolvendo pipelines Kafka e PySpark, definindo arquitetura e garantindo performance, rastreabilidade e confiabilidade em ambiente financeiro regulado.
