Olá Neste vídeo vamos dar continuidade aos estudos da disciplina de introdução ao mundo Big datata e a ciência de dados e este vídeo tem como estudo capturando e armazenando os dados quando a empresa decide utilizar do conceito do Big Dat para aplicar na sua empresa para um novo produto ou uma nova ideia é preciso ter em mente dois pontos a forma que irá capturar e como esses dados serão armazenados então é muito importante identificar os dados dois pontos que nós vamos estudar identificar os dados e qual a captura e o armazenamento a identificação dos dados
é o quê verificar esses dados Eles já existem já existem na empresa então toda a análise toda a identificação vai partir dos dados que já existem ou serão dados que ainda serão gerados então o primeiro ponto é essa identificação a outra identificação são as fontes dos dados os dados viram de forma interna dentro da empresa todas as informações serão geradas dentro da empresa ou seja aí você pode pensar mas os dados que não existem sim mas eles serão gerados dentro da empresa ou eles serão dados externos vai haver uma uma coleta de dados uma pesquisa
algo que irá gerar de forma interna estes dados a terceira forma da identificação é qual é o formato será em forma de texto em gráficos será um será em formas de vídeos será imagens Então essas três pontos Chaves precisam estar ali cientes para a identificação dos dados como de onde ele vem a sua fonte e o seu formato o outro ponto é a estratégia e a captura do armazenamento já temos os dados né esse dado já foi gerado seja de forma interna ou de forma externa quais serão os métodos de captura né qual é a
origem Qual é o formato e depois o armazenamento E aí nesse caso entram os bancos de dados né o os principais bancos de dados relacionais que são utilizados E aí vai depender de cada empresa depender de cada métrica que será utilizada Qual a melhor forma Qual o melhor banco de dado que vai armazenar melhor aquele dado a pensar em custo em espaço todas essas essas ideias essas análises precisam ser levado em consideração para se definir qual será a forma de análise que aquele dado será armazenado E aí depois que nós já identificamos os dados verificamos
aí a gente precisa entender dois pontos os dados O que são Dados internos e o que são Dados externos essas duas informações Elas serão importantes nessa identificação né é preciso entender então dados eh internos são aqueles dados em que a empresa é dona Ou seja a empresa ela possui controle sobre aqueles dados E aí existe alguns determinados dados né que nós vamos agora elencar e esclarecer que são considerados dados internos como por exemplo dados de sistema de gerenciamento da empresa O que são esses dados todos os dados que estão dos sistemas sistemas de RP sistemas
de ponto eh sistemas de de cadastros sistemas de RH relacionamento entre cliente e empresa então todos esses sistemas que estão é de vendas né de compras que estão dentro da empresa dos sistemas da empresa são considerados dados internos outros são os arquivos ou seja eh aqui tabelas gráficos notas fiscais impressões eh digitalizações então todos esses tipos de arquivos que giram ali dentro da empresa também são considerados internos documentos gerados pelos colaboradores uma tabela de Excel um documento de Word uma imagem um t outro outros demais tipos de texto e-mails que são trocados entre os colabor
E então isso são Dados também internos né Essa troca de colaboradores os sensores da empresa ou seja e câmeras eh que estão ali espalhadas pela empresa monitoramento de vigilância de carros de GPS então todos esses dados também são de domínio interno e os registros de lops O que são esses O que são esses registros e são acessos logins que estão ali dentro da empresa todos esses dados cadastrais também fazem parte então para você ter pra gente ter uma noção do que são esses dados internos Esses são os principais pontos que devem ser levados em consideração
e aí vamos pensar sim um ponto de atenção né é preciso identificar ali em relação aos dados internos como esses dados serão organizados analisados de forma para melhorar os negócios então muitas vezes a empresa tem muito dados muitos muitos dados muitas informações mas aí não tem uma melhor organização não tem muitas vezes nem ciência dos dados que possui então esses dados eles precisam ser bem organizados até mesmo para facilitar aqueles que virão de forma internas né para as tomadas de externas perdão para as tomadas de decisões Então essa organização é muito importante todos esses dados
precisam estar muit muito bem org organizados E aí nós temos os dados da web que são os dados o quê considerados externos Então são aqueles dados que a gente pode pegar de fora da empresa e que eles são relevantes Ou seja que eles são importantes nós falamos na primeira aula sobre nessa grande quantidade de dados que são gerados né 90% dos dados gerados eles tem uma Estimativa de que serão excluídos então é preciso ter muito cuidado e quando se vai buscar um dado externo entender se de fato esse dado ele tem relevância para aquele projeto
para aquilo que está se buscando E aí quais são os dados dados de domínio público ou seja dados do governo eh dados eh de temperatura eh dados do ambiente que al a definição de de ambiente de um país então todos são todos aqueles dados eh gráficos demográficos coisas desse estilo Então são aqueles dados que são de domínio público ou seja que está lá na internet disponível para todas as pessoas que nós podemos utilizar outros são os dados de sites de terceiros ou seja pessoas em que nós vamos usar os seus dados mas com identificação de
fontes mas que tem blogs insites que estão lá disponíveis e as mídias sociais online nós sabemos que hoje Existe uma grande quantidade de Mídias e tipos de mídias gerando grandes volumes de dados Então essas mídias redes sociais Facebook Gmail Twitter todas essas mídias sociais blogs elas também são fontes externas e que poderão ser utilizadas é claro que quando se usa esses dados é preciso ter muito cuidado muita atenção por exemplo os desafios né o grande volume a grande quantidade de dados que aumenta a cada instante Então se dificulta eh esse processo de de análise tem
que ter muita atenção com as fontes especialmente nas mídias para ver aí temos a questão do fake News se esses dados não são falsos e qual a percepção do cliente né sobre aquele serviço se aquilo que tá sendo oferecido ali como dado externo é de interesse e positivo ou negativo do cliente e aí uma coisa que é importante são em relação a essa captura desses dados que são hoje muito usados os API O que são apis são interfaces de programação de aplicação que facilita o acesso do dados aos aplicativos então diversas plataformas como Facebook Twitter
já utilizam dessa dessas apis né para que seja permitido tanto a coleta dos dados gerando eh planilhas de Excel entre formulários facilita que esses dados sejam capturados ou até mesmo a inserção de dados ou seja que novos conteúdos sejam colocados pelo usuário então muitas dessas plataformas já permitem essas trocas né De Tanto Que o usuário possa tirar dados como possa também inserir dados E aí nós temos uma tabela com algumas de dessas mídias sociais e seus links que permitem eh essa busca né essa esse os seus apis e temos também o protocolo r o que
é o protocolo RZ ele é bastante utilizado para proporcionar a esse acesso de forma mais fácil Essa comunicação entre essas aplicações Então ela é uma arquitetura né uma arquitetura que ela permite eh que essas plataformas fiquem de formas mais dinâmicas essa comunicação essa interação e facilita esse processo de troca de dados entre as empresas que as empresas possam ali pegar esses dados ou receber dados dessas ferramentas então com essa informação nós vamos encerrando essa nossa aula Espero que você tenha gostado Obrigada por ter acompanhado conosco e já convido que você possa estar conosco nas próximas
aulas Onde vamos aprender mais sobre o mundo do Big Data e como ele vem aí essa vivência na ciência de dados