Especialista em Big Data (Cloudera e Databricks)

Buscamos um Especialista em Big Data para atuar no suporte, otimização e operação de ambientes baseados em Cloudera e Databricks. Esse profissional será responsável pela administração de clusters, troubleshooting avançado, otimização de performance e implementação de boas práticas em plataformas de dados distribuídos.
Responsabilidades:

Administrar e otimizar ambientes de Big Data, garantindo alta disponibilidade e performance.
Monitorar, identificar e resolver incidentes complexos relacionados a Cloudera Data Platform e Databricks.
Atuar no ajuste e tuning de pipelines de dados e workloads de processamento distribuído (Spark, Hadoop, Hive, Impala, Kafka).
Implementar melhores práticas de governança, segurança e automação em clusters de Big Data.
Realizar troubleshooting avançado, incluindo análise de logs, debugging de jobs e otimização de queries.
Criar e manter documentação técnica, roteiros de instalação e checklists operacionais.
Trabalhar em integração com times de engenharia, infraestrutura e fornecedores para garantir a estabilidade e escalabilidade dos ambientes.
Apoiar na implementação de novas soluções e arquiteturas em Cloudera e Databricks, visando performance e eficiência.

Requisitos:

Experiência com Cloudera Data Platform (CDP) e Databricks, incluindo administração, configuração e troubleshooting.
Conhecimento do ecossistema Hadoop (HDFS, Spark, Hive, Impala, Kafka, YARN, Airflow).
Conhecimento em Linux, incluindo administração, tuning de performance e troubleshooting.
Experiência com bancos de dados relacionais e NoSQL para otimização e análise de performance.
Habilidade em scripting e automação (Python, Shell, SQL) para otimizar operações de dados.
Experiência com monitoramento e observabilidade em ambientes distribuídos (Grafana, Prometheus, ELK, Datadog).
Conhecimento em segurança, autenticação e autorização em ambientes de Big Data.

Desejáveis:

Experiência com AWS (S3, EMR, Glue, Lambda, IAM) e sua integração com soluções Big Data.
Certificações Cloudera CDP Administrator, Databricks Certified Developer for Apache Spark.
Experiência com arquitetura de Data Lake e Lakehouse.
Vivência com DataOps e CI/CD para ambientes de dados.
Experiência em projetos de migração de dados e otimização de pipelines.

Candidatar