Engenheiro de Dados Pleno

A Maxxi é uma empresa jovem e cheia de energia. Nascemos nessa nova era representada pela diversidade de ideias e inovação contínua e por isso seguimos crescendo em ritmo acelerado e em constante transformação.

Estamos buscando um (a) Engenheiro de Dados especializado em Databricks que será responsável por criar, otimizar e manter pipelines de dados robustos, garantindo sua integração, transformação, qualidade e segurança. Construir e manter processos de ETL em Data Lakes, recebendo os requisitos e análises dos clientes para desenvolver novos processos e se certificar de que a segurança e modelagem de dados ocorrem com as melhores práticas no mercado.

Responsabilidades e atribuições
Construir e manter dados, se reportando e analisando processos para um Data Lake AWS;
Gerenciar soluções e infraestrutura AWS para dados, auxiliando em desenvolvimentos;
Desenvolver rotinas auxiliares para monitorar ambientes (trabalhos, aplicações, queries)
Ajudar nas decisões de arquitetura e construção de pipeline de dados;
Desenvolver e implantar trabalhos ETL/ELT, consumindo dados de diferentes tipos de fontes;
Desenvolver, rodar e manter testes de carga;
Consertar bugs, analisando suas causas para uma melhoria contínua;
Evolução de esquemas de dados e documentações para entregar o valor de negócio.
Desenvolver pipelines escaláveis;
Iintegrar diversas fontes de dados;
Realizar transformações usando Spark; ;
Gerenciar infraestrutura de clusters;
Assegurar a governança e a conformidade dos dados; ;
Colaborar com equipes multidisciplinares, implementar políticas de segurança e documentar processos. ;

Requisitos e qualificações

Experiência com Data Lake ou projetos DW
Experiência com pipeline de dados e modelagem de dados;
Experiência prévia com Big Data, open standards e tecnologias open source;
Experiência prévia com SQL e RDBMS, incluindo otimização de performance;
Conhecimento em escalabilidade e problemas de performance;
Bom conhecimento de programação em Python;
Inglês intermediário para leitura e escrita.

Candidatar