Como todos sabem, os dados são o “novo petróleo” e como tal, no estado bruto, têm pouco valor. Assim como o petróleo, os dados precisam ser “refinados”, o que exige um serviço especializado. A consultoria em Análise de Dados tem essa função, de extrair o máximo de valor dos dados da sua empresa.
Muito se fala em dados, porém somente com um olhar especializado é possível avaliar se a empresa, antes de implantar uma solução como o Power BI, precisa de uma arquitetura de dados mais estruturada.
Hoje em dia também ouvimos falar em outros termos relacionados a dados, como “Big Data”, “Data Lake”, “Dados estruturados / não estruturados” e “Dados transacionais x OLAP”, entre outros.
Nesse artigo abordaremos esses temas inseridos no contexto de uma consultoria em Análise de Dados ou Data Analytics e mencionaremos os aspectos que consideramos serem fundamentais para que a consultoria na sua empresa seja um sucesso.
Etapas da Consultoria em Análise de Dados
A consultoria em Análise de Dados é um processo que acontece, em cinco etapas principais:
- Descobrir o grau de maturidade de uso de dados
- Definir os objetivos com relação aos dados
- Definir o foco do projeto de Análise de Dados
- Dimensionar o projeto
- Execução do projeto de Data Analytics
1. Descobrir o grau de maturidade de uso de dados
Inicialmente, é necessário ter uma visão mais ampla da sua empresa. Para isso, é necessário determinar qual é o grau de maturidade dela em relação a dados, ou, em outras palavras, como está a Cultura de Dados da sua empresa.
É necessário saber em qual estágio a empresa está, para que a partir desse ponto, seja desenvolvido um trabalho de acordo com o contexto no qual a sua empresa se encontra.
Apresentamos aqui nosso Modelo de Maturidade de Dados composto por cinco níveis que descrevem qual é o entendimento e utilidade dos dados na sua empresa:
Sabemos que existem estágios intermediários, mas a ideia aqui é ter uma visão geral de onde a empresa está e qual é o nível que a empresa deseja alcançar.
Conhecer o grau de maturidade ajuda a determinar metas factíveis (metas SMART) para o projeto. Por exemplo, uma empresa que se encontre no nível 1, terá um caminho mais longo para checar ao nível 5 do que uma empresa que estiver no nível 4. Provavelmente esta empresa que está começando sua jornada em abraçar a cultura de dados deverá dividir seu grande objetivo em vários projetos menores, obtendo várias pequenas e rápidas conquistas (quick wins) ao longo de seu caminho.
2. Definir os objetivos com relação aos dados
Na sequência é necessário mapear e definir os objetivos da empresa em relação a dados, identificando oportunidades de um melhor uso da informação, tendo em vista o nível de maturidade desejado.
Para chegar a essa definição, é necessário conhecer ainda mais a empresa e o seu estágio atual, fazendo perguntas, tais como:
- Qual é o tipo de negócio da sua empresa?
- Quais são as massas de dados?
- Qual é o resultado esperado com a utilização dos dados?
As respostas definem com maior precisão a situação atual e o objetivo da sua empresa em relação a dados e o foco do projeto de Análise de Dados.
3. Definir o foco do projeto
Definidos os objetivos, é hora de escolher o foco da consultoria em análise de dados.
Nós agrupamos os projetos em três categorias:
- Análise, Visualização de Dados ou Business Intelligence
- Engenharia de Dados
- Ciência de Dados
3 Categorias de Projetos
Confira a seguir as características de cada categoria de projetos:
Análise de Dados, Visualização de Dados ou Business Intelligence
É indicado para as empresas que precisam de uma análise histórica, com um entendimento da atual situação da empresa, para a obter insights.
Também atende empresas que queiram ter um monitoramento em tempo real.
Em projetos de Análise de Dados são gerados os famosos “Cubos OLAP”, sigla que significa “Online Analytical Processing” – “Processamento Analítico On-line”. Estas soluções de Business Intelligence, como o Microsoft Power BI, possuem a capacidade de combinar os dados a serem analisados entre si, com alto desempenho de agregação e recursos avançados de visualização.
Dados Transacionais (OLTP) x OLAP
Muitos perguntam sobre a diferença entre os “Dados Transacionais (OLTP) x OLAP”.
Os dados gerados por sistemas de gestão tradicionais são chamados de “Dados Transacionais”, pois se referem a transações do dia a dia das empresas – vendas de produtos, suas quantidades, valores, estoques, serviços, entre outros.
Esses dados são processados por sistemas chamados de “OLTP” – “Online Transaction Processing” ou “Processamento de Transações em Tempo Real”, pois se referem a esses dados que são gerados a todo o momento. Esses dados, após serem gerados, vão para um banco de dados e podem ser consultados em relatórios, que extraem essas informações e as consolidam conforme o tipo de informação necessária.
Engenharia de Dados
Esse tipo de projeto de análise de dados é indicado para empresas que necessitam de um projeto estrutural de dados. Proporciona o suporte necessário para a unificação da plataforma de dados, Big Data e organização da informação, com a possibilidade de escalar os recursos de gestão dos dados.
O Big Data se refere aos dados que são gerados com as seguintes características: alto volume, alta velocidade, grande variedade e veracidade – os “4V`s” do Big Data. Esses dados podem ter diferentes origens e precisam ser tratados, consolidados e armazenados, para consultas e análises, entre outras ações.
No Data Lake, o “Lago de Dados”, os dados são armazenados o seu estado bruto, sem tratamento e em formados variados, como imagens, documentos e dados de sensores, entre outros. É a partir do Data Lake que os dados são estruturados, de acordo com as características e necessidades de cada empresa.
Inclusive, os dados podem ser estruturados ou não estruturados.
Dados estruturados são aqueles que ficam armazenados em tabelas que se relacionam entre si (tabelas relacionais). As informações armazenadas podem ser numéricas, datas, textos, opções “sim/não”, binários, entre outros.
Esses dados costumam ficar armazenados em Bancos de Dados como o Microsoft SQL Server ou Oracle SQL – “Structured Query Language”, por exemplo.
Esses dados são organizados desde a sua origem. Após serem inseridos pelos usuários em um formulário, site ou sistema, automaticamente, os dados já são estruturados nos bancos de dados em tabelas. Por isso são chamados de “Dados Estruturados”.
Os dados não estruturados são aqueles não têm uma estrutura fixa de organização, um padrão pré-estabelecido, como por exemplo, documentos de texto, vídeos, áudios e imagens, inseridos em aplicativos de mensagens e redes sociais, por exemplo.
Por não serem organizados na sua origem, eles são denominados “dados não estruturados”.
Ciência de Dados
A consultoria em Ciência de Dados ou Data Science atende às empresas que necessitam análises preditivas e prescritivas. Ou seja, elas precisam prever situações futuras, prescrever mudanças de rota e ter insights sobre os objetivos negócio.
Como são projetos que requerem recursos mais especializados (humanos e tecnológicos), são geralmente voltados para empresas já amadurecidas em relação à análise de dados.
A imagem abaixo ilustra no lado direito o foco da Ciência de Dados, em fazer predições e prescrições baseadas em dados.
Além disso, a Ciência de Dados também abrange o reconhecimento de voz, de imagem e textos. Para esse cenário, a Microsoft conta com uma coleção de Serviços Cognitivos (Azure Cognitive Services).
Por meio de APIs é possível integrar o Azure Cognitive Services a outras plataformas, para identificar padrões, anomalias e dessa forma, extrair conhecimento.
Por fim, é importante ressaltar que um projeto pode conter atividades das três categorias citadas anteriormente.
Outros Passos da Consultoria de Análise de Dados
Dimensionar o projeto
O passo seguinte, na consultoria em Data Analytics, é dimensionar a infraestrutura, soluções e serviços necessários para o projeto de análise de dados. Com estas informações, conheceremos o custo e prazo para implementação e sustentação da solução.
É importante confrontar o investimento necessário com os benefícios esperados. É o cálculo do retorno sobre o investimento da solução (ou ROI – Return over Investment). Calcular o ROI é fundamental para determinar a viabilidade da solução.
A metodologia de implantação deve ser definida ao dimensionar o projeto. Podemos citar como exemplos as metodologias Ágil Scrum, Híbrida ou Tradicional (com escopo fechado ou Waterfall).
Execução do Projeto de Data Analytics
Definidas as etapas anteriores, passamos então à fase de execução do projeto de Data Analytics. Nesta etapa os consultores atuarão junto com a sua empresa, para implementar o que foi definido nas etapas anteriores.
Mencionamos alguns aspectos fundamentais para que um projeto seja bem-sucedido:
Funcionalidade e Performance
Na entrega é necessário que sejam tomados todos os cuidados necessários para que a solução escolhida tenha o desempenho adequado, tanto em termos de funcionalidades, como de performance técnica.
Documentação da Consultoria em Análise de Dados
Com a estrutura do projeto definida, é necessário registrar o que foi e o que está sendo realizado. Como um projeto é composto por várias fases, citamos aqui como um exemplo, a documentação necessária na fase inicial, de entendimento do negócio:
- Documento de abertura do projeto: é um documento define a estrutura do projeto. Este documento é “vivo”, pois ele muda à medida em que são realizadas novas descobertas e que os requisitos de negócio mudam.
- Fontes de dados: onde estão os dados brutos, sua origem e destino.
- Dicionários de dados: apresenta as descrições dos dados fornecidos pelo cliente, que incluem o esquema, tipos e diagramas de relacionamento, entre outros.
Gestão de Mudança e Time de Sustentação
É importante dar atenção especial à gestão de mudança, que abrange tanto a conscientização e treinamento de todos os usuários, quanto à transição para o time de sustentação, que garantirá a continuidade do projeto dentro da empresa.
Consultoria em Análise de Dados em Power BI
O Microsoft Power BI é uma solução de inteligência empresarial (Business Intelligence) que conta com recursos para uma excelente visualização dos resultados, o que permite um melhor entendimento do cenário atual no qual a empresa se encontra.
Vale ressaltar que, devido ao fato de o Power BI ser uma solução voltada para a visualização dos dados, ele pode ser integrado a outros projetos, tanto de Engenharia, quanto de Ciência de Dados, para que os dados resultantes desses projetos tenham uma visualização de alto padrão.
Como se pode ver, um projeto de análise de dados requer um conhecimento muito amplo, tanto técnico, de dados, quanto de modelos de negócio. Por isso, contar com uma consultoria especializada em análise de dados certamente fará toda a diferença em relação aos resultados para a sua empresa!
A Smart Consulting, Parceira Gold Microsoft, conta possui mais de 18 anos de experiência, um time especializado em Data Analytics, e muitos cases de sucesso.
Para saber mais, entre em contato com nossos experts em Data Analytics.