Projeto Data Lake chega na última etapa de produção
- Órgão Vinculado: Conselho Nacional de Justiça
Em um mundo onde decisões baseadas em dados são essenciais, o Projeto Data Lake emerge como uma iniciativa crucial para a modernização e eficiência dos processos judiciais. Esta iniciativa não só garante a conformidade com regulamentações e proteção de dados institucionais, mas também promove inovações ancoradas em análises preditivas e na valorização dos dados de negócios e sistêmicos.
História
Em fevereiro de 2023, o Conselho Nacional de Justiça (CNJ) iniciou um projeto transformador para a gestão de dados. Nomeado Projeto Data Lake, o objetivo é criar um repositório corporativo único dentro do Programa Justiça 4.0, consolidando dados de diversas fontes. Essa ideia surgiu a partir de uma análise do Programa Justiça 4.0, identificando a necessidade de centralizar dados estruturados e não estruturados, evitando gargalos e redundâncias no consumo de informações processuais.
Resultados Esperados
O Data Lake visa a alta disponibilidade de informações sem perda de desempenho, mesmo com o grande volume de processos dos sistemas do Poder Judiciário
Além disso, fornecerá uma infraestrutura de armazenamento centralizado para dados de fontes heterogêneas, garantindo rapidez e segurança. Isso resultará em melhorias na gestão e governança das informações, redução de redundâncias e custos operacionais, além de maximização de recursos. Na prática, o Data Lake funcionará como o “coração” do Programa Justiça 4.0, armazenando dados em diferentes formatos para serem consumidos por outros sistemas e aplicações integrados, permitindo maior flexibilidade, escalabilidade, segurança, controle de acesso e monitoramento.
Equipe
A equipe do Projeto Data Lake é composta por analistas de negócios, Scrum Master, desenvolvedores seniores e plenos, arquitetos de dados, cientistas de dados, analistas de teste, arquitetos de software e gerente de projetos. Todos trabalham em conformidade com a Estratégia do CNJ 2021-2026, a Estratégia Nacional e a Política Judiciária, especificamente no Eixo de Justiça.
Etapas
O projeto já concluiu as fases de planejamento, criação de modelos e mapeamento de dados, definição de arquitetura, desenvolvimento de infraestrutura (AWS Cloud), estruturação e reestruturação de arquitetura, melhorias para POC – CSJT e MVP. Atualmente, está na Etapa 10, a fase de Produção, que inclui a carga de dados no Data Lake, implementação de camadas, melhorias evolutivas e corretivas, documentação, serviços estruturantes, configuração de infraestrutura, garantia de qualidade dos dados, permissões, observabilidade e consumo de dados para BI e IA, além do carregamento completo do CODEX e encerramento da implementação do projeto.
Nesta última fase, são executadas rotinas de consumo de dados, testes de estresse para garantir estabilidade, disponibilidade e confiabilidade do Data Lake, além de testes de carga, desempenho, acesso à aplicação e segurança da informação.
Conforme o último relatório de progresso de 22 de julho de 2024, o projeto está no prazo, com 88,8% de execução. Os resultados positivos até o momento indicam que a finalização pode ser antecipada, inicialmente prevista para dezembro de 2024.
Fonte: Conselho Nacional de Justiça