O que \u00e9 Big Data? O termo Big Data \u00e9 relativamente novo e ao mesmo tempo velho, surgindo por volta de 2005 com o Google e recebeu uma alavancada em 2008 com o pessoal do Yahoo que transformou a plataforma Hadoop em Open Source.<\/p>\n
Quando pensamos em Big Data, \u00e9 comum fazermos uma tradu\u00e7\u00e3o liter\u00e1ria do texto e imaginamos \u201cGrandes Dados\u201d, relacionado \u00e0 grande quantidade de dados a ser analisado. Mas o termo \u00e9 um pouco mais abrangente, levando como base os 3 Vs do Big Data. Mas o que s\u00e3o os 3 “V’s”?<\/p>\n
Volume, que est\u00e1 relacionado \u00e0 grande quantidade de dados que possu\u00edmos dentro e fora da empresa; o segundo \u00e9 a Velocidade, pois a cada segundo muitos dados novos s\u00e3o criados na internet, e alguns destes dados podem ser interessantes para sua empresa; o terceiro e ultimo est\u00e1 relacionado \u00e0 Variedade, sendo que o dado pode ser um compartilhamento de um texto em uma rede social, um post no blog, um review em um e-commerce.<\/p>\n
Juntando estes tr\u00eas pilares, \u00e9 poss\u00edvel analisar praticamente tudo que est\u00e1 p\u00fablico, envolvendo dados estruturados, no caso de n\u00f3s conhecermos a estrutura de armazenamento daquele contexto, e tamb\u00e9m os dados n\u00e3o estruturados, como imagens, v\u00eddeos, \u00e1udios e documentos.<\/p>\n
Como aplicar em seu cen\u00e1rio?<\/p>\n
A aplica\u00e7\u00e3o de t\u00e9cnicas de Big Data \u00e9 particular para cada cen\u00e1rio. Pode ser que seu caso seja um portal de sa\u00fade e bem estar que consegue cruzar dados comuns de idade, altura, peso, sexo e localiza\u00e7\u00e3o de 10 milh\u00f5es de usu\u00e1rios por m\u00eas, e inferir qual regi\u00e3o tem mais propens\u00e3o \u00e0 determinada doen\u00e7a; ou ent\u00e3o voc\u00ea \u00e9 uma empresa de fabrica\u00e7\u00e3o de avi\u00f5es e n\u00e3o quer virar manchete por causa de uma queda de suas aeronaves, ent\u00e3o consegue analisar os mais de 280 sensores espalhados pelo seu avi\u00e3o e consegue cruzar estes dados e saber se aquele avi\u00e3o que est\u00e1 a 4 horas de seu destino precisa fazer uma parada em um aeroporto mais perto para uma manuten\u00e7\u00e3o ou ent\u00e3o \u00e9 poss\u00edvel esperar ele chegar a seu destino.<\/p>\n
Muitos at\u00e9 associam a conquista da copa do mundo do Brasil pela Alemanha devido a uma grande plataforma de dados que eles utilizaram. A aplica\u00e7\u00e3o destas t\u00e9cnicas \u00e9 muito ampla, sendo poss\u00edvel encontrar a necessidade de seu cen\u00e1rio e ent\u00e3o utilizar estas tecnologias para facilitar a aplica\u00e7\u00e3o e a tomada de decis\u00e3o.<\/p>\n
Quais tecnologias posso usar sem custo?<\/p>\n
O Hadoop \u00e9 uma plataforma Open Source, que roda em cima do servidor Apache em distribui\u00e7\u00f5es Linux. N\u00e3o entendeu nada? O Hadoop \u00e9 o nome do n\u00facleo principal de uma plataforma pra trabalhar com Big Data, este n\u00facleo pode ser executado em um servidor de internet chamado Apache, que \u00e9 respons\u00e1vel por executar e controlar o ambiente que o Hadoop est\u00e1 trabalhando. Por sua vez, o Apache \u00e9 uma ferramenta que trabalha em cima do sistema operacional Linux, famoso por ser gratuito e tamb\u00e9m por possuir muitas empresas trabalhando para adequar as funcionalidades para chegar a um trabalho cada vez mais profissional.<\/p>\n
O Hadoop sozinho n\u00e3o faz muita coisa, ele precisa de APIs (Application Programming Interface), programas que interagem atrav\u00e9s de troca de informa\u00e7\u00e3o com o n\u00facleo principal, sat\u00e9lites que ajudam nas principais tarefas de uma plataforma. Existem APIs que se encarregam de fazer o trabalho para movimentar dados entre uma base de dados que voc\u00ea possui e o Hadoop.<\/p>\n
Tem API que trabalha no \u00e2mbito de aprendizado de m\u00e1quina e pode ajudar na sua tomada de decis\u00e3o, aprendendo com m\u00e9todos estat\u00edsticos o comportamento dos seus usu\u00e1rios. Outra API que \u00e9 amplamente utilizada \u00e9 respons\u00e1vel por agendamento de tarefas, que podem processar os dados que s\u00e3o inseridos durante o dia na plataforma de Big Data.<\/p>\n
\u00c9 poss\u00edvel implementar Big Data sem uma equipe de TI focada?<\/p>\n
Sim, mas pode dar um trabalho extra e voc\u00ea precisar\u00e1 aprender algumas coisas de TI para isso. Hoje, grandes provedores de servi\u00e7os na Internet oferecem plataformas prontas para se trabalhar com Big Data utilizando seus servi\u00e7os. A Amazon possui uma plataforma que \u00e9 comercializada atrav\u00e9s do Amazon Web Services; a Microsoft possui sua plataforma que se chama Windows Azure; e o Google tem o Google Big Query. Cada fornecedor possui suas peculiaridades, e tamb\u00e9m variam de pre\u00e7o e recursos. Em alguns o esfor\u00e7o \u00e9 maior, em outros, \u00e9 menor. Vale a pena investigar as ofertas do mercado e ver o que melhor se encaixa na sua necessidade e budget.<\/p>\n
Mas voc\u00ea precisa ter Big Data no seu neg\u00f3cio\/empresa?<\/p>\n
\u00c9 muito comum com o “modismo” as empresas implantarem um sistema ou tecnologia sem saber o que querem\u2026 assim como qualquer tecnologia, voc\u00ea precisa saber se o seu neg\u00f3cio est\u00e1 preparado, se de fato isso vai ajudar a sua empresa\u2026 essa \u00e9 a t\u00edpica solu\u00e7\u00e3o que sozinha n\u00e3o dar\u00e1 nada! Ou seja, pense muito bem para n\u00e3o gastar uma fortuna com “mais um sistema” na sua empresa.<\/p>\n
Outro cuidado grande esta relacionado a preocupa\u00e7\u00e3o ou n\u00e3o com a ess\u00eancia do Big Data. O que isso quer dizer: esque\u00e7a se voc\u00ea est\u00e1 fazendo Big Data, BI, ou o que quiser chamar. O que importa \u00e9 voc\u00ea investir o tempo em algo que de fato far\u00e1 a diferen\u00e7a no seu neg\u00f3cio! \u00c0s vezes o mais simples j\u00e1 te entrega mais valor e muitas vezes o complicado\u2026 s\u00f3 \u00e9 complicado!<\/p>\n","protected":false},"excerpt":{"rendered":"
O que \u00e9 Big Data? O termo Big Data \u00e9 relativamente novo e ao mesmo tempo velho, surgindo por volta de 2005 com o Google e recebeu uma alavancada em 2008 com o pessoal do Yahoo que transformou a plataforma Hadoop em Open Source. Quando pensamos em Big Data, \u00e9 comum fazermos uma tradu\u00e7\u00e3o liter\u00e1ria […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","jetpack_publicize_message":"","jetpack_is_tweetstorm":false,"jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","enabled":false}}},"categories":[],"tags":[],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"jetpack_shortlink":"https:\/\/wp.me\/p28224-1iw","jetpack_likes_enabled":true,"jetpack-related-posts":[{"id":4644,"url":"https:\/\/escritacontabilidade.adv.br\/blog\/2014\/06\/informacao-e-ativo-para-transformacao-dos-negocios\/","url_meta":{"origin":4992,"position":0},"title":"Informa\u00e7\u00e3o \u00e9 ativo para transforma\u00e7\u00e3o dos neg\u00f3cios","author":"Clayton Teles das Merces","date":"3 junho 2014","format":false,"excerpt":"A informa\u00e7\u00e3o j\u00e1 \u00e9 um dos ativos mais importantes dentro das organiza\u00e7\u00f5es e tem sido essencial para a cria\u00e7\u00e3o de novos modelos de neg\u00f3cios. Isso por si s\u00f3 j\u00e1 explica a import\u00e2ncia da ado\u00e7\u00e3o de solu\u00e7\u00f5es de Big Data pelas empresas, defende o diretor dos Programas Executivos do Gartner para\u2026","rel":"","context":"Post similar","block_context":{"text":"Post similar","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":4155,"url":"https:\/\/escritacontabilidade.adv.br\/blog\/2014\/01\/e-social-o-big-data-fiscal-e-a-realidade-das-pequenas-empresas\/","url_meta":{"origin":4992,"position":1},"title":"e-Social: o Big Data Fiscal e a realidade das pequenas empresas","author":"Clayton Teles das Merces","date":"23 janeiro 2014","format":false,"excerpt":"O que \u00e9 o e-Social? O seu nome tem como origem a socializa\u00e7\u00e3o da informa\u00e7\u00e3o, mas trata-se de uma poderosa ferramenta, na verdade, de um Big Data Trabalhista, fiscal e previdenci\u00e1rio. Para ficar mais claro, o Big Data fiscal \u00e9 composto por solu\u00e7\u00f5es tecnol\u00f3gicas capazes de lidar com dados fiscais\u2026","rel":"","context":"Post similar","block_context":{"text":"Post similar","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":4369,"url":"https:\/\/escritacontabilidade.adv.br\/blog\/2014\/03\/os-7-pecados-capitais-dos-empregadores-na-implantacao-do-e-social\/","url_meta":{"origin":4992,"position":2},"title":"Os 7 pecados capitais dos empregadores na implanta\u00e7\u00e3o do e-Social","author":"Clayton Teles das Merces","date":"25 mar\u00e7o 2014","format":false,"excerpt":"O e-Social \u00e9, em resumo, a folha de pagamento digital com recursos super poderosos. Inclusive, j\u00e1 recebeu o apelido de Big Data Fiscal, dada a sua estrutura de intelig\u00eancia artificial. Ele promete mudar a forma de relacionamento entre empregados, empregadores e os \u00f3rg\u00e3os da administra\u00e7\u00e3o p\u00fablica federal em rela\u00e7\u00e3o \u00e0s\u2026","rel":"","context":"Post similar","block_context":{"text":"Post similar","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":1777,"url":"https:\/\/escritacontabilidade.adv.br\/blog\/2012\/08\/pequenos-negocios-podem-lucrar-com-dados-empresariais\/","url_meta":{"origin":4992,"position":3},"title":"Pequenos neg\u00f3cios podem lucrar com dados empresariais","author":"Clayton Teles das Merces","date":"13 agosto 2012","format":false,"excerpt":"Pesquisa recente da multinacional de softwares americana Symantec mostra que as informa\u00e7\u00f5es corporativas custam US$ 1,1 trilh\u00e3o anuais para as empresas do mundo todo. Apesar dos custos elevados, grande parte delas \u00e9 ignorada como ferramenta de gest\u00e3o. \u201cDe maneira geral, 40% das informa\u00e7\u00f5es geradas nas empresas n\u00e3o s\u00e3o aproveitadas estrategicamente\u201d,\u2026","rel":"","context":"Post similar","block_context":{"text":"Post similar","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":1206,"url":"https:\/\/escritacontabilidade.adv.br\/blog\/2012\/05\/sped-contabil-ecd-geracao\/","url_meta":{"origin":4992,"position":4},"title":"SPED CONTABIL ECD – Gera\u00e7\u00e3o","author":"Clayton Teles das Merces","date":"25 maio 2012","format":false,"excerpt":"SPED CONTABIL ECD - Gera\u00e7\u00e3o Tipo:\u00a0Manual de procedimento \u00a0\u00a0\u00a0\u00a0Sistema:\u00a0WIN\/CTB-WIN - Contabilidade \u00a0\u00a0\u00a0\u00a0Processo:\u00a0Sped Cont\u00e1bil (ECD) Status:\u00a0Publicado Vers\u00e3o:\u00a01 No manual a seguir ser\u00e3o esclarecidos os procedimentos de parametriza\u00e7\u00e3o para a gera\u00e7\u00e3o do arquivo texto e os passos de valida\u00e7\u00e3o. Importante!!! Para obter sucesso no processo de Gera\u00e7\u00e3o e Valida\u00e7\u00e3o do arquivo do\u2026","rel":"","context":"Post similar","block_context":{"text":"Post similar","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":151,"url":"https:\/\/escritacontabilidade.adv.br\/blog\/2011\/06\/sped-e-a-inteligencia-fiscal\/","url_meta":{"origin":4992,"position":5},"title":"SPED e a intelig\u00eancia fiscal","author":"Clayton Teles das Merces","date":"15 junho 2011","format":false,"excerpt":"A unifica\u00e7\u00e3o de dados fiscais e cont\u00e1beis para atendimento das obriga\u00e7\u00f5es legais \u00a0 Atender \u00e0s obriga\u00e7\u00f5es fiscais brasileiras n\u00e3o \u00e9 tarefa f\u00e1cil. \u00c9 preciso aten\u00e7\u00e3o no preenchimento de dados nos sistemas do Fisco como ECD (SPED Cont\u00e1bil Digital), EFD (SPED Fiscal Digital) e PIS\/Cofins, al\u00e9m de preencher \u00e0s exig\u00eancias das\u2026","rel":"","context":"Post similar","block_context":{"text":"Post similar","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]}],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/posts\/4992"}],"collection":[{"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/comments?post=4992"}],"version-history":[{"count":1,"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/posts\/4992\/revisions"}],"predecessor-version":[{"id":4993,"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/posts\/4992\/revisions\/4993"}],"wp:attachment":[{"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/media?parent=4992"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/categories?post=4992"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/escritacontabilidade.adv.br\/blog\/wp-json\/wp\/v2\/tags?post=4992"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}