Descrição da Vaga

Requisitos:

- Experiência com Análise de Dados, preferencialmente no setor de saúde;
- Experiência em arquiteturas de Data Lake usando Oracle Cloud Infrastructure (OCI) e Oracle S3;
- Experiência com ferramentas de integração de dados e pipelines de ETL, como Apache NiFi, Oracle Data Integrator ou Talend;
- Sólida experiência em desenvolvimento Python, utilizando bibliotecas como Pandas, PySpark, SciKitLearn para manipulação de dados;
- Experiência com serviços de nuvem AWS: S3, Glue, RDS, Redshift, EC2, Lambda;
- Experiência com SQL e NoSQL para gerenciamento de dados relacionais e não relacionais;
- Conhecimento em Hadoop, Spark ou Kafka para processamento distribuído de dados;
- Conhecimento em DevOps com o uso do Jenkins para integração e entrega contínua(CI/CD), além de automação de tarefas de implantação e gerenciamento de pipelines.

Responsabilidades:

- Projetar, implementar e manter a arquitetura de Data Lake usando **Oracle S3** para armazenar, processar e organizar grandes volumes de dados médicos;
- Implementar o fluxo de dados através das camadas Raw, Trusted, e Refined, garantindo que os dados sejam processados corretamente e estejam prontos para análise avançada e machine learning;
- Desenvolver pipelines de ETL/ELT para ingestão, transformação e limpeza de dados de saúde provenientes de diversas fontes, incluindo prontuários médicos (EHR/EMR), sistemas hospitalares, e bancos de dados médicos;
- Implementar políticas de segurança e privacidade, especialmente em conformidade com a LGPD, garantindo o uso seguro e ético dos dados;
- Desenvolver soluções escaláveis para processar grandes volumes de dados em tempo real e em batch, usando frameworks como Apache Spark e ferramentas de processamento distribuído;
- Otimizar o uso de OCI Object Storage e sistemas distribuídos para garantir eficiência