ENGENHEIRO DE DADOS PL (HDL)

Formação Acadêmica:

Ensino Superior completo Ciências da Computação, Engenharia de Computação, Engenharia Elétrica, Análise de Sistemas ou áreas afins.

Principais Atividades:

Desenvolver pipelines de processamento e validação de dados da fonte até o Data Lake e testes de unidade;
Criar rotinas de limpeza, qualidade e transformação de dados para disponibilização a times de pesquisa científica;
Extração de dados a partir de fontes variadas (xml, json, pdf, imagens);
Criar e otimizar consultas em bancos de dados;
Auxiliar na criação de Data Lakes;
Auxiliar na criação de dashboards para monitorar a qualidade dos dados processados;
Auxiliar na documentação de processos.
Deploy e monitoramento de aplicações Web e de processamento de dados;
 Desenvolver planos de contingência e de backup;
Configurar Integração Contínua e Deploy Contínuo;
Provisionamento de serviços para equipe de desenvolvimento.

Requisitos

Conhecimento em bancos de dados relacionais e não relacionais;
Conhecimento em ferramentas utilizadas para limpeza, processamento e análise de dados: Regex, Pandas/Polars, Matplotlib/Seaborn.
Conhecimento em testes de unidade em Python;
Experiência prévia com ecossistema Linux (gerenciamento do sistema, comandos básicos de linha de comando, permissões de acesso em sistema de arquivos, compilação e instalação a partir do código fonte);
Conhecimento em Docker (levantar containers, personalizar imagens com Dockerfiles, arquivos Docker compose).

Habilidades Desejáveis 

Conhecimento em Power BI (Modelagem de dados, criação de páginas e reports, publicação e divulgação de relatórios);
Automação de processos utilizando Bash ou scripts Python;
Experiência prévia como metodologias ágeis (Scrum, Kanban etc);
Experiência prévia com SQL Server, Postgres e MongoDB;
Conhecimento em construção de DAGs em Airflow;
Monitoramento e observabilidade.

Idiomas
Inglês Intermediário.

Candidatar