Introdução ao Google Big Query - O que é, para que serve e como utilizar

o Olá se você entrou nesse vídeo é porque você quer levar o seu patamar na área de dados você que é analista de dados cientistas de dados engenheiro de dados e ainda não conhece aqui com ele a famosa ferramenta e todo mundo gosta de chamar por B que eu sou Léo da pen data e vou mostrar hoje para você e também dizer para você o porque você tem que aprender vender quer um quanto antes isso mesmo se você quer ser um profissional diferenciado no mercado essa ferramenta que vai ajudar a dar um passo à frente

aí na sua carreira e fazer com que você consiga evoluir um pouco mais rápido fechou Bora lá para o vídeo onde eu vou mostrar o que é o Big Hair e como ele funciona É Nossa bom então vamos lá eu estou aqui com o meu gcp Google Cloud plataform aberto tá eu tenho que o meu projeto é isso essa conta eu tô usando os dados o faturamento gratuito aí e os dados que eu vou utilizar são todos os dados públicos tá tanto que já estão disponíveis para a gente no veículo é mas antes de a

gente começar o que que é o Big Coelho o que que é o bebê que o biquíni nada mais é do que um great House tá organizado pela Google onde você consegue analisar dados através dessa ferramenta ele é um portal um banco de dados ali onde você não tem um servidor específico para se conectar atuando como se fosse um server las ou seja um serviço que a Google disponibiliza para você e através desse serviço você consegue colocar a sua estrutura de dados seja ele parar analisar o seu biai para você analisar dados ali na sua

área de da Thais ou para você estruturar os dados a área de engenharia você consegue colocar esses dados dentro dessa ferramenta bem que e fazer as suas análises hoje fique com ele ele atua basicamente como um banco de dados e porque ele é diferenciado para quem tá entrando na área e quer ter um pouco de facilidade com a ferramenta uma curva de aprendizado um pouco menor Big Hair ele proporciona que você utilize a linguagem SQL que a study with english linguagem todo mundo conhece principal linguagem utilizada para manipulação de dados de bancos de dados então

o Big com ele ele além de ser um banco colunar orientado por uma estrutura de de Heitor House Onde você consegue criar suas análises armazenar os seus dados você também consegue utilizar dentro do Big com ele o SQL para facilitar o seu trabalho de pesquisa e análise de dados bem com ele não é isso pessoal hoje o Google disponibiliza ambicore ferramentas que podem te ajudar também para Machine ler exatamente o Big com ele hoje você consegue atuar com macho ele tá então aqui eu tô no mesmo menu de navegação ali na minha página principal do

meu Google Cloud plataforma E aí eu vou clicar aqui no meu hambúrguer no menu hambúrguer e vou navegar até encontrar o Big Hair Lembrando que temos o Big table que é uma coisa pouco diferente mais voltado para um Lake House e temos o Big com ele é uma coisa voltada mais para o dente ou errado mas não te impede fazer projetos maiores do que um projeto de um leitor House aqui dentro do Big com ele ou outros projetos mais específicos tá ele facilita muito inclusive eu brigue com ele e facilita também na integração com as

ferramentas Google então a Google Cloud plataform ela pô e lá na integração muito mais fácil entre suas ferramentas e o Mickey com ele pode ser usado dentro de um estúdio dentro de um look ou até mesmo dentro de outras ferramentas e análise de dados Tá bom então vamos descendo aqui até achar o Big com ele se você não está família familiarizado com essa plataforma com esse com esse Google Cloud platform Eu recomendo que você assista o nosso último vídeo sobre receber E lá eu passo um faço overview sobre a plataforma da Tá bom então aqui

a gente vai entrar aqui eu encontrei aqui o menu do Big cueca Então o que a gente tem o espaço para trabalho essa Kelly Onde eu consigo montar as minhas cores as minhas consultas SQL eu tenho transferência de dados Onde eu consigo colocar ali falar por mim e com ele montagem os jovens de cargas de dados transferidos de um local para o outro eu tenho consultas programadas Onde eu consigo o mar as minhas consultas para aquelas executem período em período e até a migração Ou seja a tradução de uma skelly eu consigo traduzir um SQL

para dentro do Big Hair administração que entra monitoramento vai entrar gerenciamento de capacidade ibiai em jaén e tudo tudo fácil de mexer a operar aqui vocês vão ver como é tranquilo tá bom então vamos primeiramente Abrir que o nosso espaço de trabalho abrindo aqui o espaço de trabalho ele tem esses essa essa visualização aqui bem bacana onde ele já possibilita que você escreva as consultas aqui e eu vou falar de forma figurativa tá em alguns pontos para que vocês entendam como que funciona essa estrutura aqui no pico é a gente tem recursos e informações que

é um botão onde você vai conseguir extrair algumas informações e também analisávamos recursos você consegue Ah entendeu os atalhos que essa ferramenta possui você consegue tá ativar as dia do editor Quando você vai criando várias consultas aqui dentro ele vai fazendo várias guias Então você consegue fazer um processo de ativação e desativação desses casos e aqui a gente tem um menuzinho que é o mesmo menu que apareceu para a gente poder gente entrou no menu hambúrguer ali em cima ele já traz aqui para gente estar legal Léo eu tenho Editora aqui eu consigo executar uma

consulta eu consigo salvar essa consulta essa consulta consigo salvar somente a Keri salvar somente a consulta consigo salvar ela em uma visualização ou em uma capela E aí vai de acordo com a minha escolha eu consigo programar essa consulta para ela executar de período em período e aqui eu tenho botão mais que formatar consulta configurações da minha consulta e mostrar a tradução da consulta que eu tô executando para o a linguagem Tá bom então beleza aqui ficou bem tranquila essa parte aqui eu consigo criar uma nova consulta e que eu tenho menu Explorer tá Léo

Que menino é esse o que que para que serve então quando a gente tem uma base no Big Hair geralmente trabalha com vários data sets particularmente Aqui está um Data Set que podemos utilizar dentro desses data sets a gente possui tabelas Eu costumo falar que dentro do B que a gente tem estrutura de data vezes é onde a gente tem o nosso datas ex e dentro desse exata vez a gente tem as nossas tabelas E aí subsequente as tabelas a gente tenha as nossas páginas de dados tá as nossas entidades ali para conseguir trabalhar de

uma forma mais simples entidade a tabela mais é só para tentar adquirir um pouquinho ali para vocês entenderem tá a gente vai pegar aqui um ambiente e disponibilizado pelo próprio Bic você consegue consultar dados abertos utilizando o Big Hair que facilita muito se você quiser fazer um trabalho para uma faculdade quer fazer uma aula como eu estou fazendo aqui ou se você quer fazer análises usando os dados que estão disponíveis no mercado é que estão abertos aqui dentro da plataforma você consegue criar as suas análises legal então aqui eu posso te dar para pesquisar se

eu abrir esse nós aqui ele não vai trazer nada porque eu não tenho nada dentro desse pro já ao clicar que eu posso abrir o projeto ou criar um conjunto de dados ali dentro até o momento eu não vou criar nada então vou vir aqui eu tenho a outra opção aqui que adicionar dados tá então posso fixar um projeto já existente eu posso explorar um conjunto de dados públicos e posso puxar um dado os pontos internos ou seja Posso trazer para cá um dado ali um arquivo Excel que eu tenho um csv que eu tenho

eu posso trazer para cá para o Big Hair legal bom então o que que eu vou fazer aqui para gente conseguir analisar esses dados Tá eu vou escrever aqui no digite para pesquisar convite somente para digitar ele vai falar que não teria o resultados e eu quero ampliar a minha pesquisa para todos os projetos para Que ele traga alguns projetos para mim então tem todos os projetos de dados abertos aqui do vaqueiro que eu queria só mostrar para vocês tá então uso porco a gente tem aqui o nosso projeto bigquery Public data tão esse aqui

é um projeto que a gente tem todos os projetos públicos do Bigode em Vitória e cole vídeo Então a gente tem vários dados abertos só vai nos dados que a gente pode utilizar isso aqui é um conjunto de dados Então eu tenho broad Street and aqui que é um conjunto de dados tenham do convite gitalia convide Open data tão posso pegar esse povo and Open data abrir esse conjunto de dados e que nem eu tenho uma tabela clicando nessa tabela automática é uma aba aqui onde ele mostra pra gente a estrutura dessa tabela qual é

o esquema que utilizada por essa tabela tá então a gente vê que tem muitos Campos aqui inclusive uma tabela gigante em vários Campos a gente consegue ver os detalhes dessa consulta dessa dessa tabela eu tenho que ir hoje lá tabela tamanho na tabela de 8 GB quantos quantas linhas tem nessa tabela quando ela foi criada a última modificação na tabela qualidade na tabela local de dados onde os dados estão alocados os rótulos que ela possui tá E você tem a opção visualizar Onde você consegue visualizar os dados eu cliquei aqui provavelmente ele vai travar um

pouquinho porque como são muitos dados então ele vai abrir aqui para gente essa visão aqui de dados um gente consegue visualizar alguns dados dessa tabela de cores de 19 Tá eu vou tentar abrir um outro Data Set um pouco menor para gente conseguir ter visibilidade em um pouco mais simples desses dados Então vamos fechar essa aqui e fechar essa guia de convite vamos vir aqui vamos puxar aqui tentar Puxar esse bowstrike vamos dar uma olhada aqui que tem aí aproveite não vai ter permite um tem aqui esses dados com os dados aqui provavelmente é extraído

os ali de um problemas uma uma situação ali pública tá a gente vai conseguir visualizar esses dados então eu tenho aqui algumas ruas né algumas ruas dos Estados Unidos tá E aí tem a the prevention tá que a desprivatização do dos locais Ok então o que a gente tem os dados mas Léo legal a gente consegue visualizar a gente consegue fazer o detalhe desse gráfico e como é que eu vou fazer uma consulta tá então posso ou eu posso vir aqui em esquema a minha 15kg é olhar esse esquema pegar esses campos e lá e

escrever a consulta na mão tá eu posso simplesmente clicar em consulta ele vai criar a para mim uma linha de consulta já com a tabela limitando tá como B que trabalha por requisições é muito importante que você usa os limites nas suas consultas para que não fique consumindo requisições aí é à toa então que eu só coloco o asterisco e executo essa consulta então executando essa consulta eu consigo trabalhar em cima desses dados e fazer aqui os meus filtros Então vamos lá eu quero pegar aqui tem um campo aqui que é o ano então falar

cara eu quero tudo onde o ano Oi e ele foi Ball 2019 por exemplo vamos ver se tem registro aqui então executa essa consulta Oi e aí Se tiver dado ele vai transar aqui para mim tudo o que o ano é igual 2009 E aí eu quero hoje ele o dado aqui por exemplo seja o área de primeira cham Vamos tentar pegar esse cara aqui a gente área a ver permission indust seja menor e sessenta por cento tá tão fazendo esse filtro aqui a gente também vai conseguir analisar se ele der algum erro a gente

trata-se erro tá geralmente é bem fácil fazer isso então aqui tem toda já percentual dos desse the permission é menor que 60 por sempre Ok legal Léo eu já sei é que dá para fazer consultas ou B que vamos supor que eu tô trabalhando aqui no meu projeto é um projeto novo ele não tem esses dados para trabalhar como é que eu faço para subir essas informações então Legal vamos fechar aqui eu quero cancelar esse trabalho quero que você lá esse aqui também vamos aqui partir do Senado o princípio cenário eu tenho aqui uma um

arquivo csv vamos aqui criar onde você se vê Notepad ele abrir aqui no outro monitor colocar aqui nome idade o Leonardo idade 27 28 anos Oi Carlos a cidade que doce Carol ganhou 11 e Juliana idade 28 também então essa vai ser que você se ver salvar como ou salvar aqui na área de trabalho é nomes idades a aqui todos os arquivos. Sensível talvez arquivo aqui na minha área de trabalho como você se vê aqui eu vou criar um conjunto de dados novo tá esse Conjunto Cidade vai chamar aula de que e eu falo cara

o local de dados onde eu quero armazenar esses dados é tudo lá no state Então posso usar ou eu quero uma várias regiões da Europa né ou SQL Estados Unidos então vou usar o gás tá não vai ter que inspiração da tabela nada do tipo criar conjunto e ele criou aqui meu conjunto de dados aula de que esse conjunto de dados eu vou criar uma tabela para esse conjunto status E aí que caba essa a cara do bem que a gente porque eu posso criar uma tabela em branco posso puxar uma tabela do Gol histórias

posso fazer o upload das tabela posso puxar do drive posso puxar do bocal de bico e Damon posso puxar do amazon S3 ele tem todas as conexões para gente então aqui eu vou fazer um piloto do arquivo vou procurar esse aqui vou pegar aqui na minha área de trabalho tá eu vou pegar aqui todos os arquivos nome cidades então aqui você se vê separado por, aqui o projeto nome da tabela em nome idade tabela Nativa dentro do meu bebê que o esquema eu posso ter que dar automaticamente tá mas se você não se você quiser

você pode aqui adicionar os campos Você esquema Mas eu vou colocar para detectar automaticamente é aquele vai ter particionamento closer essas coisas não quero trabalhar eu tenho as opções avançadas Onde eu posso verificar que a preferência de gravação o número de erros permitidos que eu posso ter valores desconhecidos como que eu vou trabalhar nisso se eu vou trabalhar com delimitador de, sem ponto e, ou personalizado tá Eu só vou colocar nova linhas entre as etapas se eu vou fazer minhas redes dentadas então tem toda a explicação aqui esse eu quero usar uma chave de criptografia

do Google tá aqui não vou fazer nenhuma alteração eu vou somente criar essa tabela ele vai criar um jovem ele que vai carregar essa minha tabela esse Jober que vai começar a processamento a bela você consegue acessar o Diogo terminando ele vai estar opção de acessar a tabela tá se você clicar e automaticamente já vai trazer aquela visão que a gente teve lá da tabela que a gente olhando Street tá aqui eu trouxe nome idade cidade como Inter nome como string e automaticamente e ficou chips a gente pode ver os detalhes de quando ele foi

criado e podemos visualizar os dados aqui então tem aqui em nome idade Carol Carlos Leonardo Juliana e as respectivas idades se eu quiser fazer uma consulta eu posso simplesmente criar uma nova consulta e já pesquisar por aqui então posso vir aqui que Pesquisar por nome idade e automaticamente já fez aqui é a referência de qual o meu projeto Qual a minha a minha meu conjunto de dados e qual é a minha tabela eu posso executar esse cara começa um pouco as linhas eu não coloquei o limite então eu posso começar a fazer as minhas análises

e trabalhar em cima do biquíni bem que é bem simples tá gente legal eu gerei o resultado que eu consigo com esse resultado consigo salvar esses meus resultados consigo salvar dentro desse ver do Jason uma tabela do bico here é planilhas do Google copiar para área de transferência tá eu consigo fazer a exploração com esses dados no meu da atitude que é uma coisa bem bacana eu consigo jogar isso para dentro soldado sujo e trabalhar aqui com os meus dados já dentro de cidades tudo tá aqui não não vou fazer citar Você ainda vai ficar

mais para frente a gente vai trabalhar um pouquinho mais essa forma de como dados funciona como que eu vou trabalhar no da de estúdio mas na frente a gente começa a montar um teste aqui mas a priori para mostrar para vocês o bebê como que ele funcionava para que que serve então se você é um analista de dados de biya é um data sai um engenheiro de dados Big com ele é uma ferramenta que se você tiver no seu currículo você vai elevar o seu patamar tá então você vai ser um profissional diferenciado sim porque

uma ferramenta super volátil super escalável tá tem que pode utilizar o Big Hero aí para escalar muito de uma forma muito simples e muito rápido você não vai ter problemas com infraestrutura eu que geralmente Consul é bastante em com quando a gente tem banco de dados um pênis algo do tipo então aqui você vai ter um banco de dados ali muito mais tranquilo para se trabalhar muito mais fácil para se manipular os dados faço a verdade e vai ter o banco ali operando tem por cento um tempo para você você pode ter vários arquivos no

seu esses três no seu Cloud Stories e apontando esse ebook para esses arquivos e consumir os dados esses arquivos trabalhar e de uma forma bem tranquila legal a ideia era mostrar essa funcionalidade do Mickey para vocês espero que vocês possam estudar lembrando o cloud da $300 de crédito para quem é novo na plataforma então se você é usuário novo basta ter um cartão de crédito ou um cartão pré-pago tá que você consegue consumir esses presentes normas de crédito aí do Google Cláudio super recomendo que vocês façam isso para que vocês possam testar tanto aqueles conjuntos

de dados abertos e quanto que é os seus conjuntos de táxi fazerem a sua o seu Piauí o seu DW dentro do Google Cloud e do PT beleza Muito obrigado pessoal por tudo que vocês estão fazendo pela gente não esquece de curtir Compartilhar esse vídeo e deixe seu feedback embaixo para E também coloque a ideias de próximos vídeos para que a gente possa trazer aqui conteúdo pra vocês beleza é isso aí muito obrigado e até a próxima