Analista de Infraestrutura & DevOps conhecimento Big Data

Resumo do Perfil:
Buscamos um profissional em infraestrutura e operação de ambientes de Big Data, com forte domínio de Linux, clusters distribuídos e automação. Experiência em implantação e gestão de ambientes on-premise com Spark, Hive e Presto.
A atuação será garantir performance, segurança, orquestração e estabilidade do pipeline completo de dados, atuando de forma Cross dentro de clientes.
Responsabilidades:

Gerenciamento de clusters Spark, Hive, Presto e integração com MinIO
Administração de Delta Lake on-premise, incluindo versionamento e schema evolution
Configuração de armazenamento compatível com S3 (MinIO)
Instalação, automação e monitoramento de ambientes Linux
Integração com JupyterHub para consumo por analistas e cientistas
Orquestração com Cron (ou Airflow) para automação de pipelines
Garantia de segurança, acesso e performance de ambientes de dados
Criação de CI/CD pipelines para jobs de dados

Skills Técnicas:

Linux (administração avançada)
Delta Lake (on-premise)
Spark, Presto, Hive (instalação, tuning, operação)
Armazenamento distribuído: MinIO, HDFS
Docker, Kubernetes, Ansible, Terraform
GitLab CI / Jenkins
Monitoramento com Prometheus, Grafana, ELK
Shell Script, segurança de dados, autenticação, RBAC

Diferenciais:

Integração e suporte a ambientes JupyterHub
Experiência em troubleshooting de ambientes distribuídos
Domínio técnico para escalar e sustentar ambientes analíticos complexos
Ter conhecimento em ambientes Cloud ;

Candidatar