Especialista em Big Data (Cloudera e Databricks)

Buscamos um Especialista em Big Data para atuar no suporte, otimização e operação de ambientes baseados em Cloudera e Databricks. Esse profissional será responsável pela administração de clusters, troubleshooting avançado, otimização de performance e implementação de boas práticas em plataformas de dados distribuídos.

Responsabilidades:

• Administrar e otimizar ambientes de Big Data, garantindo alta disponibilidade e performance.


• Monitorar, identificar e resolver incidentes complexos relacionados a Cloudera Data Platform e Databricks.


• Atuar no ajuste e tuning de pipelines de dados e workloads de processamento distribuído (Spark, Hadoop, Hive, Impala, Kafka).


• Implementar melhores práticas de governança, segurança e automação em clusters de Big Data.


• Realizar troubleshooting avançado, incluindo análise de logs, debugging de jobs e otimização de queries.


• Criar e manter documentação técnica, roteiros de instalação e checklists operacionais.


• Trabalhar em integração com times de engenharia, infraestrutura e fornecedores para garantir a estabilidade e escalabilidade dos ambientes.


• Apoiar na implementação de novas soluções e arquiteturas em Cloudera e Databricks, visando performance e eficiência.

Requisitos:

• Experiência com Cloudera Data Platform (CDP) e Databricks, incluindo administração, configuração e troubleshooting.


• Conhecimento do ecossistema Hadoop (HDFS, Spark, Hive, Impala, Kafka, YARN, Airflow).


• Conhecimento em Linux, incluindo administração, tuning de performance e troubleshooting.


• Experiência com bancos de dados relacionais e NoSQL para otimização e análise de performance.


• Habilidade em scripting e automação (Python, Shell, SQL) para otimizar operações de dados.


• Experiência com monitoramento e observabilidade em ambientes distribuídos (Grafana, Prometheus, ELK, Datadog).


• Conhecimento em segurança, autenticação e autorização em ambientes de Big Data.

Desejáveis:

• Experiência com AWS (S3, EMR, Glue, Lambda, IAM) e sua integração com soluções Big Data.


• Certificações Cloudera CDP Administrator, Databricks Certified Developer for Apache Spark.


• Experiência com arquitetura de Data Lake e Lakehouse.


• Vivência com DataOps e CI/CD para ambientes de dados.


• Experiência em projetos de migração de dados e otimização de pipelines.

Candidatar