O que é Big Data - Conceitos básicos

Olá pessoal aqui é o Fábio da boson Treinamentos e neste vídeo vamos falar sobre Big Data ou Big Data se preferirem vou fazer uma pequena introdução e trazer alguns conceitos Gerais a respeito da tecnologia de Big Data que é algo que vocês já devem ter ouvido falar tá está se tornando bastante comum nos dias de hoje e é uma tendência tecnológica futura que vem com força total Então vamos lá vamos falar sobre Big Data o que que é Big Data para começar então aqui eu tenho uma uma definição formal do que seria a tecnologia de Big Data que em português significa grandes dados ou grandes volumes de dados tá então Big Data eh se refere a processamento e análise de conjuntos de dados que são extremamente grandes tá que a gente não consegue processar usando ferramentas convencionais de processamento de dados Então imagina um banco de dados convencional um SQL server ou Oracle data base por maior que seja um banco de dados utilizando Essas tecnologias e por melhores que sejam as ferramentas de análise que nós tenhamos ã Big Data se refere a algo ainda maior que não pode ou você não consegue processar ou armazenar utilizando essas ferramentas convencionais e os dados né que alimentam essa ideia do Big Data eles vem de várias Fontes distintas tá tanto Fontes estruturadas quanto Fontes não estruturadas ou semi estruturadas tá bom e falando nesses tipos de dados a gente tem uma pequena classificação da dos dados que compõem o Big Data ou Big Data bom dados estruturados é algo que você já deve conhecer provavelmente são os dados que a gente armazena em bancos de dados tradicionais tá por exemplo organizados em tabela se a gente pensar num banco de dados relacional mas nós temos muitos outros tipos de dados que também podem ser armazenados e posteriormente analisados para trazer novas informações então por exemplo dados semiestruturados que seguem padrões distintos né de forma heterogênea portanto misturados e os dados não estruturados sem estrutura alguma que é uma mescla de dados que que vem de várias Fontes distintas por exemplo dados de áudio de vídeo de texto imagens né fotos XML etc Então pensa no seguinte um banco de dados tradicional tem tabelas com informações ali contidas em linhas e colunas né essas informações são na maior parte ã números né valores numéricos ou valores de caracteres quando a gente fala de vídeo áudio imagem ã textos muito grandes tá a gente não consegue associar esse tipo de dado com banco de dados relacional mas em Big Data a gente consegue você consegue armazenar e analisar esse tipo de informação S também juntamente com informações tradicionais tá é só lembrar por exemplo de banco de dados do YouTube pensa no nesse vídeo que você tá assistindo ele tá indexado num banco de dados que é gigantesco tem milhões e milhões bilhões provávelmente de de vídeos disponíveis tá é muito grande então são utilizadas tecnologias específicas para poder trabalhar com com esses dados todos e quais são as tecnologias envolvidas em Big Data Há muitas tecnologias distintas aqui eu tenho uma lista com algumas delas apenas então a gente trabalha com sistemas de arquivos distribuídos processamento paralelo massivo por causa do volume de dados que é muito grande computação em nuvem Sem dúvida utilizada mineração de dados em Grid tá redes de alta velocidade também devido a grande quantidade de dados os sistemas de armazenamento tem que ser escaláveis tá porque a quantidade de dados ela costuma se acumular muito rapidamente você precisa tem uma forma de ampliar o seu espaço de armazenamento com rapidez e agilidade algoritmos específicos são usados obviamente e técnicas de Inteligência Artificial entre outras tecnologias que estão envolvidas na ideia do Big Data tá bom e o Big Data tem algumas características a gente costuma eh classificar as características específicas do Big Data utilizando letra V né a gente chama de os três vs do Big Data que são as características iniciais da tecnologia os três vezes significam volume velocidade e variedade tá Ahã os três vezes em inglês mas por coincidência em português acaba sendo a mesma coisa né volume velocidade e variedade volume Velocity variety em inglês tá não são só esses três vs que existem na verdade são cinco vs tá Esses são os três vezes iniciais da classificação depois foram agregados mais dois vez que a gente vai ver já já então vamos falar um pouquinho sobre os V sobre as características do Big Data começando pelo volume de dados tá o que que é o volume de dados refere-se à quantidade de dados armazenados a quantidade enorme de dados envolvidos na tecnologia aqui tem alguns dados interessantes é estimado que até o ano de 2020 tá pertinho mais uns 2 anos e meio mais ou menos existam cerca de 35 zab de dados armazenados no mundo veja a gente não tá falando de terabytes né nem de petabytes é de zab acima um zab equivale a 10 elevado a 21 by ou 1 bilhão de tb imagina o HD do meu computador aqui que é um computador relativamente moderno tem a capacidade de 1 TB 1 ZB equivale a 1 bilhão de computadores iguais a esse daqui e os o volume de dados que a gente estima até armazenados é de 35 vezes isso ainda uma quantidade absurda no mundo todo tá de acordo com o IDC em 2011 essa informação a informação do mundo Dobra a cada do anos então a cada do anos a gente tem o dobro de informações que nós tínhamos no período anterior é um crescimento muito grande muito rápido tá então volume de dados é uma característica primordial e essencial do Big Data mas não é a única outra característica importante é a variedade dos dados tá os dados que que compõe Big Data n são não apenas dados transacionais comuns dados estruturados como a gente já viu Mas também dados que são runos de outras fontes por exemplo dados de páginas web ah índices de pesquisa por exemplo de buscadores arquivos de log fóruns tenta imaginar um fórum né Pega um fórum qualquer aí da internet Ah que tem milhares ou talvez milhões de entradas né de threads com um monte de gente falando sobre um monte de assuntos tudo isso é indexável e pode ser pesquisado e analisado utilizando Big Data tá mídias sociais Tent imaginar o volume de dados que o Facebook armazena por dia ou por hora que seja uma quantidade absurda mais de 2 Bilhões de usuários postando informações todos os dias algumas pessoas inclusive horas a fio por dias por dia dados de e-mails dados de sensores né a gente fala também de internet das coisas internet of things né o IOT ã que pode gerar uma quantidade gigantesca de dados Inclusive eu vou falar de IOT em outro vídeo também entrar mais a fundo nesse assunto Tá dados de áudio dados de vídeo como eu citei YouTube né e outros outro outros serviços enfim todos esses dados eles são analisáveis e classificáveis utilizando Big Data utilizando os os métodos tradicionais de análise de dados com bancos de dados tradicionais é simplesmente impossível trabalhar com esse tipo de informação tá Então essa é uma característica importantíssima do Big Data ah os sistemas tradicionais não conseguem nem sequer armazenar que Dirá processar e entender esse monte de dados tá e a gente utiliza Essas tecnologias novas algoritmos técnicas etc tá juntando dados estruturados e não estruturados no geral Olha que interessante essa estatística apenas 20% do volume de dados que nós temos é estruturado os outros 80% restantes são Dados não estruturados esses dados oriundos de áudio vídeo texto logs etc por isso é importante a tecnologia do Big Data o outro V ele fala sobre velocidade tá velocidade dos dados que que significa isso é a taxa de geração dos dados em qual velocidade eles são gerados são gerados muito rapidamente né a razão ah com o quão rápido os dados são resgatados né obtidos e armazenados em algum lugar em bancos de dados específicos a gente fala quando a gente fala de taxa de fluxo de dados a gente tá se referindo à velocidade dos dados tá o fluxo né Essa taxa de geração pode ser tão elevado que ferramentas de análise tradicionais não conseguem manipular não conseguem nem entender a informação que tá chegando tá por isso Big Data também tem as suas técnicas específicas para tratamento dessa informação bom a gente falou sobre os três vs principais de Big Data mas existem mais V mais características existe também a veracidade e o valor que são características muito importantes também que devem ser levadas em consideração Então vamos falar um pouquinho sobre elas veracidade eh refere-se a confiabilidade dos dados então o dado que tá sendo armazenado ele é confiável ele é realista ou ele é inventado tá Ah ele tem qualidade ele tem consistência então é algo que se leva em consideração ao armazenar dados para análise em Big Data e a origem é conhecida a fonte do os dados é confiável os dados devem ser verdadeiros não podem ser fabricados e a gente tá numa era em que fabricar dados é algo bastante fácil e corriqueiro infelizmente tá por exemplo dados oriundos de opinião não são válidos geralmente em Big Data a gente precisa de dados consistentes e realistas oriundos de fatos os dados eles são internos ou externos à organização então uma empresa que vai aplicar técnicas de Big Data para analisar dados vai usar dados apenas internos ou vai vai coletar dados externos também tá H os dados internos geralmente são mais fáceis de verificar com relação à velocidade do que dados que vem de fora tá então esse é um ponto importante a se considerar e o último V é o valor tá é Aquela Velha História Big Data tecnologias novas inovação grandes volumes de dados né veracidade velocidade etc todas essas palavras são muito bonitas Mas e aí o que que a empresa ganha com isso gera valor né utilizar essa tecnologia vai trazer vai agregar valor a minha empresa então o valor é uma aplicação do Big Data que permita aumentar por exemplo a receita a empresa vai ganhar mais dinheiro identificar novas oportunidades né de operação economizar custos talvez melhorar a qualidade de produto satisfação do cliente né melhores resultados resolver problemas enfim você pode aplicar o Big Data para para atingir qualquer um desses objetivos né se você aplica e conseguir atingir o objetivo você gerou o valor pra empresa Então essa é uma outra característica importante do Big da ele tem que ser capaz de gerar valor senão não vale a pena trabalhar com isso dentro da empresa legal muito bem e já que a gente tá falando em utilizar o Big Data dentro da empresa quais são as aplicações para isso né Você deve estar se perguntando até o momento legal já vi os cinco vez entendi essas características do Big Data entendi que é algo que se refere a volumes imensos de dados mas onde eu aplico isso então existem inúmeros né inúmeras aplicações inúmeros Campos de aplicação do Big Data aqui eu tenho uma lista pequena de alguns desses Campos né Por exemplo monitoramento em redes sociais que a gente monitora o que acontece numa rede social que tem milhões ou talvez bilhões de usuários simultaneamente trocando informações hum ó Netflix um exemplo bem clássico bem próximo da gente é o Netflix né Sistema de recomendação de filmes do Netflix utiliza também técnicas de Big Data para recolher dados daqueles milhões de usuários rapidamente e e descobrir que tipo de informação é melhor recomendar para cada um dos usuários web Analytics né sites de e-commerce utilizam ah dados provenientes de sensores em Sistemas de transporte alguns sistemas de transporte são altamente complexos e se baseiam na na na utilização simultânea de centenas ou talvez milhares de sensores todos enviando informações em tempo real e esses dados precisam ser armazenados e também analisados análise de dados financeiros extremamente importante para evitar fraudes sistemas de cartão de crédito utilizam muito isso né sistemas de cartão de crédito utilizam Big Data aliado com um pouco de inteligência artificial e tal e e consegue por exemplo detectar Quando alguém faz uma transação usando um cartão de crédito que não é típica daquele usuário que é dono do cartão né podendo inclusive bloquear a transação e avisar o o verdadeiro dono daquele cartão do que tá acontecendo para verificar se realmente aquilo deve ser autorizado ou não é bem interessante anise análise de dados médicos dados traficados em redes de computadores em em redes grandes dados de telefonia celular tag fid informações sobre o tempo certamente se beneficiam muito de Big Data porque são informações extremamente pesadas trânsito modelos de tráfego e outras mais então tem inúmeras aplicações em que o Big Data entra ã e res o problema pra gente que antes podia levar Semas meses TZ ou simplesmente seria impossíve de serem analisadas M bom né tenho uma listinha com algumas empres naa de Big Data você perguntando isso também Legal tem muita aplicação me interessando pelo assun que obtenho informaçõ sobre ISO que empresas n trabalham para eu pesquisar sobre Big Data tem algumas aqui IBM né ebm tá em todas clauda o Google também encontra o Google em todo lugar pentar SAP teradata New relic Sales Force tabl software e tem muitas outras Microsoft também entra aí no meio tá muitas empresas estão desenvolvendo sistemas ou utilizando sistemas na área de Big Data essas aqui são algumas das principais se você pesquisar nos websites dessas empresas você vai encontrar muita informação tá muitos papers muitos estudos de caso softwares n para você analisar etc e algumas dessas empresas são bem específicas mesmo da área de Big Data como clauda New relic pentar tablô software são bem focadas nessa área já IBM Google são assim mais generalistas né eles TM um pé Praticamente tudo que você imagina da área de tecnologia tá legal E aí pra gente fechar agora que eu eu trouxe essa pequena essa introdução ao Big Data tá você sabe mais ou menos do que se trata essa essa essa palavrinha que tá na moda que tá que tá aí rolando nas redes se você quiser se aprofundar ou aprender de verdade a respeito de Big deira talvez até para atuar na área onde que você vai encontrar informações eu tenho uma listinha bem legal aqui de websites que oferecem cursos treinamentos na área de Big Data tá ã alguns cursos são gratuitos outros são pagos Tá mas em importante é que esses cursos são bem legais eu já analisei praticamente todos eles Ou pelo menos um curso de cada um desses desses órgãos dessas organizações aqui e posso recomendá-los tá os links estão aqui na no vídeo mas eu vou deixar os links também todos aqui embaixo na apresentação para para você mais facilmente encontrar então tem o Big Data University que tem uns cursos bem legais online o daa Science Academy que é nacional inclusive Olha lá datascienceacademy. com. br muito legal recomendo FIAP né uma faculdade famosa aí da área de tecnologia tem um curso bem interessante online gratuito corsera padrão você vai encontrar um monte de cursos lá 5000 dasit na corsera você vai encontrar alguns cursos gratuitos outros pagos deira Camp também e claro se você preferir fazer um curso presencial em Big deira para seguir nessa área para se aprofundar por exemplo a gente tem cursos de pós-graduação disponíveis por aí ou mesmo atualmente curso um uma pós-graduação na área de Big Data tá então provavelmente nos próximos meses aí conforme eu for me aprofundando no assunto eu vou trazer mais um materialzinho mais especializado a respeito desse assunto aqui pro Canal legal bom então é isso aí pessoal nesse vídeo eu introduzi o assunto Big Data ou Big Data se preferirem tá falei um pouquinho do que se trata Big Data eu não falei sobre histórico de de Big deira nem nada não não era o foco desse vídeo mas eu posso falar eventualmente em outro vídeo posteriormente Tá mas eu trouxe a definição dos vs nas características principais falei um pouquinho nas aplicações principais do Big Data e trouxe aqui alguns links para vocês se aprofundarem no assunto se assim o desejarem e é isso espero que vocês tenham gostado aproveitem para se inscrever aqui no canal da boson Treinamentos e também para visitar o nosso Website que é o www.

bosontreinamentos. com.