Design, build, and maintain reliable, scalable data pipelines and infrastructure, partnering with analysts and stakeholders to support analytics and business initiatives in banking.
Data Engineer Azure Databricks - ETL Automation Specialist
📜 Description
- Design, develop, and maintain ETL processes using Azure Data Factory and Databricks.
- Build pipelines to ingest and process CSV, TXT, Excel, and other data sources.
- Automate data loading, transformation, and validation.
- Configure and manage scheduled Databricks Jobs and Workflows.
- Monitor and troubleshoot pipelines while ensuring data quality and integrity.
- Collaborate with technical teams and stakeholders to improve data integration processes.
🛠️ Requirements
- 5+ years of experience in Data Engineering, ETL Development, or Data Integration.
- Hands-on experience with Azure Data Factory, Azure Databricks, and end-to-end ETL processes.
- Advanced SQL skills and proficiency in Python and PySpark.
- Experience designing data pipelines and processing structured files such as CSV, TXT, and Excel.
- Experience with Microsoft Azure cloud environments.
- Analytical problem-solving, autonomy, effective communication, and attention to detail.
✨ Benefits
- Rango salarial 35 a 40k netos (México) // 1800 USD Por mes. (LATAM)
- 🚀 Integración a marcas globales y startups disruptivas.
- 🏡 Trabajo remoto/Home office.
- ⏳ Horario ajustado a la célula de trabajo/proyecto asignado.
- 📅 Trabajo de lunes a viernes.
- 🌎 Equipos de trabajo multiculturales.
- 🏆 Oportunidades dentro de nuestras diferentes líneas de negocio.
- 🏅 Orgullosamente certificados como Great Place to Work.
Full job description
¡Trabaja en DaCodes!
Somos una firma de expertos en software y transformación digital de alto impacto.
Durante 10 años hemos creado soluciones enfocadas en la tecnología e innovación gracias a nuestro equipo de casi 300 talentosos #DaCoders, incluyendo desarrolladores, arquitectos, diseñadores UX/UI, PMs, QA testers y más. Nuestro equipo colabora en proyectos con clientes en LATAM y Estados Unidos, logrando resultados sobresalientes.
En DaCodes, tendrás la oportunidad de impulsar tu desarrollo profesional, trabajar en diversos proyectos dentro de distintas industrias, y contribuir al diseño, implementación y optimización de infraestructuras en la nube.
Nuestros DaCoders tienen un gran impacto en el éxito de nuestro negocio y el de nuestros clientes. Serás el experto que participará en nuestros proyectos y tendrás acceso a startups disruptivas y marcas globales.
¿Te interesa?
Estamos buscando un(a) Azure Data Engineer con experiencia en Databricks y Azure Data Factory para integrarse a un proyecto de corta duración enfocado en la automatización y optimización de procesos de integración de datos.
Buscamos una persona con capacidad de ejecución, que pueda incorporarse rápidamente a un entorno productivo y contribuir en la construcción, automatización y mejora de procesos ETL dentro del ecosistema Azure. El perfil ideal cuenta con experiencia práctica desarrollando pipelines de datos, procesando archivos estructurados y automatizando flujos mediante Azure Data Factory y Databricks.
Esta posición está orientada a profesionales que disfrutan resolver retos relacionados con integración de datos, automatización operativa y procesamiento eficiente de información, colaborando con equipos técnicos y de negocio para garantizar la calidad y disponibilidad de los datos.
Requirements
Requerimientos
Principales responsabilidades
- Diseñar, desarrollar y mantener procesos ETL utilizando Azure Data Factory y Databricks.
- Implementar pipelines de integración de datos para la ingesta y procesamiento de archivos CSV, TXT, Excel y otras fuentes de información.
- Automatizar procesos de carga, transformación y validación de datos.
- Configurar y administrar Jobs y Workflows en Databricks para la ejecución programada de procesos.
- Desarrollar transformaciones de datos utilizando SQL y tecnologías del ecosistema Databricks.
- Monitorear, diagnosticar y resolver incidencias relacionadas con pipelines y procesos ETL.
- Garantizar la calidad, consistencia e integridad de los datos procesados.
- Colaborar con equipos técnicos y stakeholders para entender requerimientos de integración y automatización.
- Participar en actividades de optimización y mejora continua de procesos de datos.
Perfil deseado
Experiencia
- 5+ años de experiencia en roles de Data Engineering, ETL Development o Data Integration.
- Experiencia comprobable trabajando con Azure Data Factory.
- Experiencia práctica desarrollando soluciones con Databricks.
- Experiencia implementando procesos ETL de extremo a extremo.
- Experiencia procesando e integrando archivos estructurados y fuentes de datos diversas.
Conocimientos técnicos
Indispensables
- Azure Data Factory (ADF).
- Azure Databricks.
- SQL avanzado.
- Desarrollo y automatización de procesos ETL.
- Diseño y mantenimiento de pipelines de datos.
- Integración y procesamiento de archivos CSV, TXT y Excel.
- Troubleshooting y monitoreo de procesos de datos.
- Python.
- PySpark.
Deseables
- Azure Data Lake Storage (ADLS).
- Azure Blob Storage.
- Git.
- Optimización de procesos de transformación de datos.
Habilidades blandas
- Capacidad de análisis y resolución de problemas.
- Autonomía y orientación a resultados.
- Comunicación efectiva.
- Atención al detalle.
- Proactividad.
- Capacidad para integrarse rápidamente a proyectos en ejecución.
- Organización y gestión eficiente de prioridades.
Requisitos adicionales
- Modalidad: Remota.
- Ubicación: LATAM.
- Nivel: Semi Senior o Senior.
- Disponibilidad para integrarse a un proyecto de ejecución rápida.
- Experiencia previa trabajando en entornos cloud basados en Microsoft Azure
Benefits
Rango salarial 35 a 40k netos (México) // 1800 USD Por mes. (LATAM)
----------------------------------------------------------------------------------------
🚀 Integración a marcas globales y startups disruptivas.
🏡 Trabajo remoto/Home office.
⏳ Horario ajustado a la célula de trabajo/proyecto asignado.
📅 Trabajo de lunes a viernes.
🌎 Equipos de trabajo multiculturales.
🏆 Oportunidades dentro de nuestras diferentes líneas de negocio.
🏅 Orgullosamente certificados como Great Place to Work.
Similar jobs
Search more Data Engineer jobsBuild and optimize production data pipelines on Databricks for enterprise customers, owning engagement components from ingestion and transformation through production quality, performance, and downstream analytics readiness.
Senior Data Engineer
Build and optimize petabyte-scale data pipelines and cloud data platforms, establish data quality and governance practices, and guide technical decisions while mentoring junior engineers.
Desenvolve, otimiza e evolui pipelines e plataformas modernas de dados em AWS, equilibrando custo, performance e escalabilidade e aplicando práticas de governança, monitoramento e automação.
Own and operate an end-to-end data platform, building reliable ingestion, event-driven processing, and orchestrated workflows that transform multi-source information into trusted data for downstream products.
