As a Data Engineer, you'll design and implement big data solutions, focusing on batch and streaming ETL processes while collaborating with business analysis teams.
Engenheiro de Dados Pleno
📜 Description
- Projetar e construir os pipelines (ETL/ELT) em Databricks ou com estratégias open-source que ingerem e tratam o histórico, em arquitetura medalhão (bronze, silver e gold) sobre Delta Lake.
- Ingerir e padronizar documentos (PDF e imagens) com metadados.
- Executar a curadoria e anonimização de dados (LGPD), gerando bases limpas para o RAG, o few-shot e os testes.
- Construir e operar a indexação vetorial: pipeline de chunking, geração de embeddings, atualização incremental do índice e versionamento.
- Preparar datasets versionados (golden sets) para o framework de avaliação e para o benchmark de acurácia.
- Automatizar com Workflows/Jobs, CI/CD e testes de qualidade de dados.
🛠️ Requirements
- Python e SQL avançados.
- Modelagem de dados e arquitetura medalhão / Lakehouse.
- Experiência com pipelines de dados não estruturados (PDF, imagens e texto) e sua preparação para RAG.
- Noções de bancos vetoriais e embeddings (Databricks Vector Search, pgvector ou similar).
- Qualidade de dados, testes de dados e versionamento.
- Databricks na prática: Delta Lake, Workflows/Jobs, notebooks, PySpark e Spark SQL.
- Git e CI/CD.
- Experiência em ambiente de nuvem (Azure, AWS ou GCP).
Full job description
Prazer, somos a Itix!
Uma fábrica de software com sólida experiência em transformar negócios de ponta a ponta. Com um time de especialistas em diversos setores, construímos um produto adequado às necessidades do negócio do cliente, com a cabeça no futuro, e os pés no presente.
Somos uma empresa de tecnologia preocupada com a diversidade do nosso time - Diferentes pessoas trazem diferentes pensamentos e esse é nosso objetivo por aqui.
Se você é uma pessoa proativa, apaixonada por tecnologia, possui familiaridade com metodologia ágil, gosta de solucionar problemas, buscar melhorias contínuas e bons resultados, se você chegou aqui... temos algo em comum.
Revolucionamos o mercado tradicional de tecnologia, crescemos, evoluímos, e se você deseja fazer parte disso, continue por aqui.
Bora fazer parte do nosso #DreamTeamItix?
Responsibilities
- Projetar e construir os pipelines (ETL/ELT) em Databricks ou com estratégias open-source que ingerem e tratam o histórico, em arquitetura medalhão (bronze, silver e gold) sobre Delta Lake.
- Ingerir e padronizar documentos (PDF e imagens) com metadados.
- Executar a curadoria e anonimização de dados (LGPD), gerando bases limpas para o RAG, o few-shot e os testes.
- Construir e operar a indexação vetorial: pipeline de chunking, geração de embeddings, atualização incremental do índice e versionamento.
- Preparar datasets versionados (golden sets) para o framework de avaliação e para o benchmark de acurácia.
- Estruturar a persistência do ciclo de feedback (positivo/negativo, justificativas, status de resolução) e alimentar o Dashboard de Qualidade e SLA.
- Integrar as bases de dados ao serviço de inferência e à API com outros sistemas: performance, custo, monitoramento e alertas.
- Automatizar com Workflows/Jobs, CI/CD e testes de qualidade de dados.
Requirements
Requisitos obrigatórios:
- Python e SQL avançados.
- Modelagem de dados e arquitetura medalhão / Lakehouse.
- Experiência com pipelines de dados não estruturados (PDF, imagens e texto) e sua preparação para RAG.
- Noções de bancos vetoriais e embeddings (Databricks Vector Search, pgvector ou similar).
- Qualidade de dados, testes de dados e versionamento.
- Databricks na prática: Delta Lake, Workflows/Jobs, notebooks, PySpark e Spark SQL.
- Git e CI/CD.
- Experiência em ambiente de nuvem (Azure, AWS ou GCP).
- Conhecimento de LGPD e tratamento de dados sensíveis.
Requisitos Desejáveis:
- Unity Catalog em ambiente governado.
- MLflow, Databricks Model Serving e Mosaic AI.
- Delta Live Tables / Lakeflow e Auto Loader.
- Experiência em ambiente de seguros ou financeiro.
- Terraform ou Databricks Asset Bundles.
- Certificação Databricks Data Engineer Associate ou Professional.
Similar jobs
Search more Data Engineer jobsThe Data Engineer will design, develop, and optimize data engineering solutions to ensure reliable information integration and availability for analytical and operational initiatives.
Design, develop, and maintain data engineering solutions to ensure reliable information integration and processing for analytical and business initiatives.
Engenheiro de Dados - Pleno
As a Data Engineer, you will design, implement, and optimize ETL pipelines, manage cloud functions, and ensure data quality and observability.
Data Engineer Pleno (Vaga Temporária - Part time)
As a Data Engineer, you will be responsible for generating technical evidence, extracting factual information, and validating data reported during assessments.
