A cada instante, pessoas físicas, dispositivos, empresas e setor público geram um volume gigante de dados, em todo o mundo. Muito se fala sobre dados, mas na prática, você conhece exemplos de Big Data?
E eles estão mais próximos do que se imagina!
O resultado de um processo de Big Data pode estar presente em treinamentos de vendedores de redes de varejo, no monitoramento de frotas de veículos alugados, em um portal do investidor ou em dashboards para acompanhamento diário de vendas, estoque e entregas em uma multinacional, ou em muitos outros exemplos.
Inclusive, no Blog da Smart há um artigo sobre “O que é Big Data, para que serve e como aplicar? você encontra informações mais detalhadas sobre o tema.
Nesse artigo abordaremos alguns conceitos relevantes e traremos alguns exemplos de Big Data que a sua empresa precisa conhecer!
O mundo “Data Driven” e a importância do Big Data
No mundo no qual vivemos atualmente, os dados têm uma importância fundamental.
Tanto é assim, que inclusive foi criado o termo “Data Driven”, que é o equivalente a ser “orientado por dados”, com aplicações em todas as áreas.
Nesse cenário, o Big Data tem um papel central, pois consiste na metodologia e tecnologia necessárias para lidar com grandes volumes de dados, para a obtenção de insights.
“Big data são ativos de informações de alto volume, alta velocidade e / ou alta variedade, que exigem formas inovadoras e econômicas de processamento de informações e que permitem uma visão aprimorada, tomada de decisão e automação de processos” Gartner Group.
Esses dados, após o armazenamento, tratamento e análise, fornecem informações valiosas para ter decisões e ações assertivas no curto, médio e longo prazo.
O Valor do Big Data
Em linhas gerais, estamos falando basicamente de dados, relacionados aos 3 Vs: Volume, Velocidade e Variedade. A esses 3V´s podemos acrescentar mais dois: Variabilidade (ao longo do tempo) e Veracidade. Vale salientar que há ainda um 6º “V”, o Valor – que é o que realmente importa!
O valor que se traduz em insights precisos para a tomada de decisão, de modo a prevenir erros e otimizar as chances de sucesso em cada escolha.
E o valor para cada empresa se traduz por um tipo de informação, apresentado em um formato. Na sequência, apresentaremos alguns exemplos.
Exemplos de Big Data em empresas
A aplicação do Big Data é muito ampla! Governos e empresas dos mais variados setores já o utilizam, nos mais variados segmentos: alimentação, vestuário, logística, entre outros.
Mencionaremos aqui alguns exemplos de Big Data, para que seja possível ter uma ideia prática da sua utilização em médias e pequenas empresas, bem como o valor que pode agregar para o seu negócio:
Frota de Veículos – Monetização dos dados de dispositivos IoT
Como aproveitar as informações geradas por uma frota de veículos e oferecer soluções para que os clientes possam fazer uma gestão mais eficiente de suas frotas?
Para que isso fosse possível, foi necessário consolidar dados de diversas origens, como manutenção, consumo e dados de sensores instalados nos veículos.
O desenho a seguir ilustra as fontes de dados (Iot e Bancos de dados Legados), que uma vez consolidados no SQL Datawarehouse, passaram por tratamento e análise no Analysis Services. Na sequência, os dados receberam um tratamento visual no Power BI e foram direcionados para Dashboards embutidos no Portal do Cliente, via Power BI Embedded.
O resultado foi a criação de um novo serviço, monetizado e comercializado para clientes composto por diversos dashboards de gestão no Power BI, embutidos no Portal de Cliente.
Plataforma de Treinamento para Empresas de Varejo
Como coletar os dados de treinamentos de equipes de grandes empresas de Varejo e disponibilizar esses mesmos dados em uma plataforma de treinamento com dashboards, para a melhoria no atendimento dessas empresas?
Os dados, coletados durante os treinamentos (que inicialmente eram não estruturados), foram obtidos pelo Data Factory, que fez a orquestração e a transformação dos dados, consolidando-os num Datawarehouse SQL Server, para serem consumidos e tratados visualmente no Power BI e disponibilizados via Power BI Embedded no Portal de Treinamento.
No formato de Dashboards, os dados ficaram disponíveis para os funcionários dos clientes e são utilizados na Plataforma de Treinamento, o que proporciona um desenvolvimento para cada funcionário baseado em dados reais.
Consolidação de Informações de Vendas, Estoque e Entregas
Como uma multinacional conseguiria consolidar dados diariamente, de Vendas, Estoque e Entregas?
Consolidando dados de dois sistemas em dois Bancos de Dados SQL e utilizando o Common Data Service Dynamics 365, com execução diária de ETL (Extract / Transform / Load) em um único Datawarehouse, foi possível reunir todos esses dados de forma organizada para futuras visualizações.
Com dados atualizados diariamente, a empresa tem a visão necessária para a tomada de decisões mais assertivas.
Novo Portal do Investidor com dados consolidados
Como consolidar dados de investimentos em um novo portal do investidor?
Para a carga de grandes volumes de dados no Datawarehouse, foram utilizadas na ocasião as tecnologias mais recentes da Microsoft: o Event Hub para alertar sobre a presença de novos dados na origem e disparar uma trigger (gatilho), integrado ao Data Factory, Databricks e Azure Synapse, com a saída dos dados tratados e trabalhados visualmente para a Web, no Portal do Investidor.
Com o uso de todas essas tecnologias em conjunto, foi possível consolidar milhões de dados de transações diárias e tratá-las, para que estivessem disponíveis aos clientes no Portal do Investidor.
Engenharia de Dados e Soluções – Exemplos de Big Data
Devido às características do Big Data, os bancos de dados e as aplicações de processamento tradicionais não têm condições de lidar com toda essa carga e complexidade.
Atualmente, muitas empresas trabalham com grandes quantidades de dados – milhões / bilhões de linhas, terabytes de dados.
Nesse cenário com grande volume de dados, é preciso considerar a escalabilidade dos recursos na gestão dos dados, para que seja possível reduzir custos e ganhar eficiência ao operar em grande escala, em comparação com uma escala menor.
A Engenharia de Dados é a área da TI que cria uma arquitetura de dados para unificar essa plataforma e os recursos de Big Data, com escalabilidade.
Soluções
Para viabilizar a Arquitetura de Dados projetada, o Microsoft Azure conta com diversas soluções, de acordo com as etapas do processo, que descrevemos a seguir, como o Azure Data Factory, Azure Analysis Service, Azure HDInsights e Azure Synapses, entre outros.
Descrevemos acima algumas das soluções disponíveis na nuvem, mas vale salientar que também há soluções para fazer esse processo em ambiente físico (on-premises)
Como a Smart Consulting pode ajudar a sua empresa?
A Smart Consulting usa a tecnologia para melhorar a performance do seu negócio, de forma fácil e intuitiva.
Nós podemos ajudar a sua empresa a transformar seus dados em insights, que mudarão a forma como sua empresa toma decisões.
Que tal criar uma cultura Data Driven, orientada por dados?
Nesse artigo vimos que o Big Data é essencial para as empresas se manterem competitivas no mundo moderno.
Com a redução de riscos, economia de custos, escolhas mais acertadas, eficiência operacional, melhores estimativas de despesas e melhor identificação de oportunidades, as empresas contam com uma base para crescer de maneira sólida.
Tudo isso para entregar a você os melhores insights, com informações realmente úteis para o seu negócio.
Agora que você já sabe o que é o Big Data e o que ele pode fazer por sua empresa, que tal dar o próximo passo?
