[AGU] Administrador de Dados

Descrição:

Buscamos um Administrador de Dados para integrar nossa equipe, com experiência em criação e manutenção de pipelines utilizando Microsoft Fabric, incluindo a utilização de componentes como Data Factory, Workflows e Lakehouses. O candidato ideal terá conhecimento tanto em Microsoft Fabric quanto em outras ferramentas como Databricks ou similares, sendo o ambiente principal Microsoft Fabric. Experiência com Plataformas de Dados como Power BI e Palantir será um diferencial.
As responsabilidades incluem a criação de pipelines para extração de dados de múltiplas fontes (como APIs, Oracle, SQL Server, entre outras) e integração em um sistema de dados organizado em camadas Bronze, Prata e Ouro no OneLake e DataLake. Além disso, o uso de ferramentas como Apache Airflow, RabbitMQ e Rancher para o controle de nós de serviços também será parte do dia a dia.

Responsabilidades:

Apoiar na criação e manutenção de pipelines de ETL para a extração, transformação e carga de dados.
Participar da gestão da arquitetura de dados e evolução dos projetos de DataLake e OneLake.
Propor melhorias contínuas na arquitetura de dados e na qualidade da informação.
Apoiar na criação, análise e validação de artefatos relacionados a bases de dados.
Eliminar redundâncias e garantir a integridade e qualidade dos dados.
Participar ativamente na migração de dados (mesmo entre SGBDs diferentes).
Validar manuais de implantação e scripts SQL.
Auxiliar na criação de modelos de dados utilizando modelos estrela e práticas de criação de dimensões e fatos.

Requisitos:

Experiência com ferramentas: Microsoft Fabric ou Databricks e Apache Airflow.
Conhecimento em Python para ETL (Pandas, SparkDataFrame).
Experiência com formatos de armazenamento como Delta e Parquet, além de conceitos de particionamento e compactação.
Microsoft Fabric (Workspaces, Pipelines, Lakehouses, Notebooks, Sparkjobs) ou ferramentas similares como Databricks.
Conhecimento em Power BI ou Fabric será considerado um diferencial.
Estrutura de Dados: experiência no tratamento de dados estruturados, semiestruturados e não estruturados.
Governança de Dados: familiaridade com catálogos de dados, ciclo de vida e testes de qualidade.
Graduação em Tecnologia da Informação ou áreas correlatas, com especialização, mestrado ou doutorado sendo um diferencial.

Desejável:

Experiência com Apache Airflow e RabbitMQ para controle de fluxos e mensageria.
Conhecimentos avançados em SQL/NSQL
Conhecimentos em ETL: NiFi, SSIS, Pentaho, ; ;

Candidatar