Remote Jobs RockRemote Jobs Rock

Engenheiro de Dados Pleno

🕒 yesterday
PythonSQLDatabricksETL

📜 Description

  • Projetar e construir os pipelines (ETL/ELT) em Databricks ou com estratégias open-source que ingerem e tratam o histórico, em arquitetura medalhão (bronze, silver e gold) sobre Delta Lake.
  • Ingerir e padronizar documentos (PDF e imagens) com metadados.
  • Executar a curadoria e anonimização de dados (LGPD), gerando bases limpas para o RAG, o few-shot e os testes.
  • Construir e operar a indexação vetorial: pipeline de chunking, geração de embeddings, atualização incremental do índice e versionamento.
  • Preparar datasets versionados (golden sets) para o framework de avaliação e para o benchmark de acurácia.
  • Automatizar com Workflows/Jobs, CI/CD e testes de qualidade de dados.

🛠️ Requirements

  • Python e SQL avançados.
  • Modelagem de dados e arquitetura medalhão / Lakehouse.
  • Experiência com pipelines de dados não estruturados (PDF, imagens e texto) e sua preparação para RAG.
  • Noções de bancos vetoriais e embeddings (Databricks Vector Search, pgvector ou similar).
  • Qualidade de dados, testes de dados e versionamento.
  • Databricks na prática: Delta Lake, Workflows/Jobs, notebooks, PySpark e Spark SQL.
  • Git e CI/CD.
  • Experiência em ambiente de nuvem (Azure, AWS ou GCP).
Full job description

Prazer, somos a Itix!

Uma fábrica de software com sólida experiência em transformar negócios de ponta a ponta. Com um time de especialistas em diversos setores, construímos um produto adequado às necessidades do negócio do cliente, com a cabeça no futuro, e os pés no presente.

Somos uma empresa de tecnologia preocupada com a diversidade do nosso time - Diferentes pessoas trazem diferentes pensamentos e esse é nosso objetivo por aqui.

Se você é uma pessoa proativa, apaixonada por tecnologia, possui familiaridade com metodologia ágil, gosta de solucionar problemas, buscar melhorias contínuas e bons resultados, se você chegou aqui... temos algo em comum.

Revolucionamos o mercado tradicional de tecnologia, crescemos, evoluímos, e se você deseja fazer parte disso, continue por aqui.

Bora fazer parte do nosso #DreamTeamItix?

Responsibilities

  • Projetar e construir os pipelines (ETL/ELT) em Databricks ou com estratégias open-source que ingerem e tratam o histórico, em arquitetura medalhão (bronze, silver e gold) sobre Delta Lake.
  • Ingerir e padronizar documentos (PDF e imagens) com metadados.
  • Executar a curadoria e anonimização de dados (LGPD), gerando bases limpas para o RAG, o few-shot e os testes.
  • Construir e operar a indexação vetorial: pipeline de chunking, geração de embeddings, atualização incremental do índice e versionamento.
  • Preparar datasets versionados (golden sets) para o framework de avaliação e para o benchmark de acurácia.
  • Estruturar a persistência do ciclo de feedback (positivo/negativo, justificativas, status de resolução) e alimentar o Dashboard de Qualidade e SLA.
  • Integrar as bases de dados ao serviço de inferência e à API com outros sistemas: performance, custo, monitoramento e alertas.
  • Automatizar com Workflows/Jobs, CI/CD e testes de qualidade de dados.

Requirements

Requisitos obrigatórios:

  • Python e SQL avançados.
  • Modelagem de dados e arquitetura medalhão / Lakehouse.
  • Experiência com pipelines de dados não estruturados (PDF, imagens e texto) e sua preparação para RAG.
  • Noções de bancos vetoriais e embeddings (Databricks Vector Search, pgvector ou similar).
  • Qualidade de dados, testes de dados e versionamento.
  • Databricks na prática: Delta Lake, Workflows/Jobs, notebooks, PySpark e Spark SQL.
  • Git e CI/CD.
  • Experiência em ambiente de nuvem (Azure, AWS ou GCP).
  • Conhecimento de LGPD e tratamento de dados sensíveis.

Requisitos Desejáveis:

  • Unity Catalog em ambiente governado.
  • MLflow, Databricks Model Serving e Mosaic AI.
  • Delta Live Tables / Lakeflow e Auto Loader.
  • Experiência em ambiente de seguros ou financeiro.
  • Terraform ou Databricks Asset Bundles.
  • Certificação Databricks Data Engineer Associate ou Professional.

Trusted by Remote Workers