Introdução à Ciência de Dados - Jupyter Notebook e o Google Colab

E aí [Música] o Olá pessoal tudo bem bom vamos para mais uma aula então da disciplina de introdução à Ciência de dados Eu sou professor Eduardo Santarém e hoje a gente vai falar sobre Uber notebook e Google Cohab bom importante né que a gente sinalizei como é que nós vamos trabalhar um pouco na nossa disciplina mas que você também conheço né a respeito de do Python né que a tecnologia a linguagem de programação nós vamos usar lascivamente aqui nessa disciplina o pai toma linguagem de programação de alto nível né interpretada descript com tipagem dinâmica e

forte enfim é uma é uma linguagem multiplataforma e a muita gente né programador de um modo geral a gente trabalha da passagem de modo geral né que fala sobre competição Qual é o melhor linguagem qual não é tem várias iguais né o cinto aqui por exemplo para para data-size o pai então que a gente gosta a gente vai usar mas também a linguagem R é muito utilizada o vento e outras muitas linguagens são importantes e daria para gente fazer trabalho muito legal quando a tá sai se usando todas essas linguagens entretanto pessoal é a gente

vai se especializar uma delas não dá para você ser bom em todas né então nessa disciplina aqui eu optei por a gente usar o Python né e é eu penso grande diferencial do Python em relação à as outras linguagens É principalmente oferta de emprego Então a gente tem uma quantidade maior de oferta de emprego para quem desenvolve em Python e também a gente tem uma amplitude maior principalmente de bibliotecas né de ferramentas para Python em relação a r Então esse já linguagem que mais se aproxime mas também as outras linguagens que o pessoal tem usado

para dar science é bom e por onde que a gente começa né é se você já usa o pai que já programa em pai que eu já conhece ótimo legal a provavelmente tudo que eu vou falar né sala que você já conhece agora se você Nunca experimentou o pai tu se você não conhece vai começar agora mas hoje para você instalar o anaconda anaconda é um kit eu pensar se né disponível para o Windows para Mac e para Linux é que ele estava o pai tem mais um conjunto de bibliotecas pacote de ferramentas e utilizar

e utilitários para você começar a desenvolver com o pai com erre também tá mas pessoalmente papai tão que a gente vai tá falando aqui com certeza hora que você for fazer a instalação da Anaconda né já vai criar um conjunto de possibilidades não é para você iniciar o seu trabalho com o pai tu tava se sentar muito né o seu começo de trabalho aí com o pai então sugiro fortemente que você entra no link está aqui na tela que você baixa que você instala o anaconda se você ainda não fez é essa aqui é a

telinha principal lá na conta né então só vê que tem várias ferramentas aqui a gente tem várias ferramentas aqui e essa realmente foi muito interessante que a gente tem Jupiterweb aí tem horas baixar me ver que alguma já estão instaladas outras não mas são todas ferramentas e importantes para gente trabalhar com python aí então quando você está automaticamente vai aparecer uma tela dessa daqui para você e você pode escolher a ferramenta que você vai trabalhar Vai ficar bem fácil de conduzir aí o seu trabalho a sua programação com o pai então aqui na conta tem

muita coisa boa já Vai facilitar muito nosso processo de desenvolvimento bom eu tô só um pouquinho mais detalhado aqui a tela agora né mas aproximado Então essa é uma ferramenta que vou mostrar para vocês que é o Jupiterweb né Essa que é o jogo tem notebook da qual o Jupiterweb se originou aqui tem outra ferramenta que é o Orange né que é uma ferramenta muito legal que não conhece vale a pena experimentar a ferramenta visual não é para você ir fazer Mach Lane fazer muitas coisas aí de data size um charme também que é uma

ideia é diferente um pouco da que nós vamos ver aqui não perceber que tem muitas ideias disponíveis para trabalhar com python data Science né mas vamos nos concentrar aqui e usar uma ideia só que eu vou falar mais para frente qual vai ser ainda muito importante que você conhece sabe como que elas funcionam Enfim então essa aqui são quatro das principais que a gente pode ter para desenvolver aí com o pai bom eu quero falar um pouquinho sobre o wi-fi do que que é o wi-fi o pessoal vai ter um Shell para Python aí também

é e também para outras linguagens né com muito mais funcionalidade do que o Shell padrão do Python quando a gente estava o Python no Linux por exemplo no Mac principalmente nem trabalhar na linha de comando você consegue executar direto frente de quem tá acostumado com outros negócio programação que você abre uma ideia né rodava o processo não aqui simplesmente você vai lá e manda executar o Python a tua perda de comando no Shell lá e ele vai executar uai Pai tem alguma coisa parecida com isso né você ele abra um Shell do pai a seguir

digitando os comandos e criando a interagindo com o pai tão diretamente no Shell ele permite copiar código rodar scripts pequenos códigos enfim né é a ideia do wi-fi então é criar pequenos cadernos pequenos notebooks na ele causar muito esse termo notebook né onde é possível você registramos atividades como se fosse um diário Então essa é a ideia inicial do notebook né veio através do with it' Tom a gente não vai usar o wi-fi Então a gente vai usar uma ferramenta que é um avanço do wi-fi né uma uma um aplicativo que surgiu a partir do

wi-fi tenta a gente vai usar uma caneta também não Júpiter notebook apesar que eu vou falar dele aqui né pra usar uma outra ferramenta mas olha só que quer Júpiter notebook deve ter escutado já falar nisso né É um aplicativo open source para desenvolvimento né Ela é uma evolução do with it' Tom entretanto O Último Movimento Deixa de ser no Shell na telinha preta lá né de você digitar comandos e ele pa e no Browser Ou seja no navegador você pode usar qualquer browser que você quiser e executar os comandos Ali você vai conseguir executar

os comandos para fazer os seus scripts em Python é é uma excelente alternativa para desenvolvimento irá prática pessoalmente programação em Python para quem está começando principalmente é muito legal fazer as coisas facilita muito o nosso processo né gente vai usar é uma variação do junto notebook aqui na nossa disciplina né e praticamente em todas as fases de isso tudo que você tem né e desenvolvimento como profissional esata sais a gente vai usar o Júpiter notebook ainda tem Jupiterweb o Júpiter Lab né é a próxima geração do Júri notebook que aconteceu né Tem alguma ferramenta open-source

também como junto e notebook entretanto Ele trouxe novidades né que trouxe a possibilidade de você abrir várias Abas trouxe a possibilidade de você estar lá extensões Ele trouxe a possibilidade você fazendo uma instalação de extensão e você Fazendo fazer se esqueçam de variável coisa que a gente não tinha no Júpiter notebook não percebeu que é uma evolução é provavelmente mais para quem tiveram outras ferramentas que entraram evolução do Júpiter e leve por exemplo né Essa é uma ótima opção para desenvolvedores pessoal para estudar data-size que a gente vai usar o Júpiter leve nessa disciplina mais

bem pouquinho eu vou mostrar só para vocês tá e eu vou fazer essa demonstração aí do Júpiter lábios do justo e leve né E a gente vai partir da ideia pessoal que você já tenha no seu computador o Júpiter leva instalado Ou seja que você já tem outra lebre ou que você tem uma anaconda da onde sai o Jupiterweb né e lembre-se pessoal que tem o anaconda instalado é uma sugestão que seria muito importante para você desenvolver né ela não é obrigatória na sequência descer pela a gente não vai precisar do Júpiter e não vai

precisar da Anaconda mas é muito legal para quem está desenvolvendo Então agora ele vai ver uma demonstração rápida tá no Júpiter é para você começar em compreender como é que essa e funciona bom pessoal então agora eu tô aqui na minha tela com anaconda abertos ver Aquelas mesmas ferramentas que a gente tinha lá naquela outra tela que eu mostrei slide eu vou clicar aqui ó para executar o Júpiter Lab tá E olha que eu clico e que que ele vai fazer ele vai abrir dentro do browser mas já vai abrir o Júpiter leve para que

eu possa utilizar nesse caso aqui ele abri uma telinha pré-pronta já para mim né eu vou postar abre vários notebooks aqui se eu quiser eu vou mostrar um exemplo para vocês eu fechar esse aqui ó eu vou criar um novo né um novo notebook eu poderia vir aqui para ir New né ou então poderia vir aqui no maizinho ou quando ele aparece a tela já vinha aqui direto no notebook quando eu clico ele abre essa tela para mim legal Onde é que aqui do lado eu já tenho né do lado esquerdo aqui eu já tenho

aonde em qual pasta que eu tô gravando você pode escolher a pasta bonitinho ele vai gravar lá dentro e eu tenho aqui uma linha de uma linha para inserir o código e é por aqui que eu vou começar então por exemplo eu vou fazer um teste quer pegar uma variável x e vou atribuir para ela o valor 10 legal quando eu faço isso olha só eu tenho comandinho aqui para mandar executar para mandar rodar esse código quando eu mando rodar ele executa olha só ele executou essa linha aqui na então ele fez uma interpretação via

Python para essa linha legal se eu quiser continuar programando eu vou para próxima linha e posso programar então por exemplo a gente tá acostumado né muitas vezes mostrar né imprimiu que a gente teve com o comando print Esse é o comando de imprimir do pai tu então eu posso executar por aqui ou então eu posso dar um shift enter seu segure a tecla shift e aperta ou entra também executou salinha né é uma tecla de atalho para executar Então vou dar um shift enter aqui ó ele vai mostrar o 10 que eu tinha atribuído aqui

em cima já meu segundo comando se eu vier aqui né E fizer que o e agora vale 11 né e mandar executar de novo que que vai acontecer vou dar um shift enter aqui ele atribuiu o 11 por x e assim eu posso rodar vários e vários e vários programas no caso do Júpiter notebook no junto elétrica que a gente tá usando aqui né muitas vezes eu vou pensar em usar o print quando eu quero mostrar uma coisa só na tela quando eu quando eu coloco x aqui e manda executar pra gente vai mostrar o

resultado que é o 11 e assim sucessivamente uma coisa muito legal e por isso é chamado de notebook isso aqui é o seguinte quando eu tenho uma célula dessa Ela tá aqui como código mas eu posso mudar ela para Mark Down olha só que legal ela passa a ter uma tela de texto uma célula de texto eu podia escrever alguma coisa aqui ó né esse é um programa em Python Beleza executei vai ficar esse texto aí mas eu posso fazer uma coisa bem legal também que é o que colocar marcações como se fosse HTML mas

nós temos como HTML Mas ele tem aqui os cabeçalhos do HTML então por exemplo se eu colocar aqui ó uma cerquinha né tá com o Mark Down aqui uma cerquinha da espaço e colocar aqui cabeçalho é um ele vai criar um cabeçalho aqui e posso fazer isso também a de baixo é com dois cabeçalho oi oi e posso executar pouquinho menor então conforme eu coloco um né é o maior depois eu coloco dois é um pouquinho menor três é um pouquinho menor eu posso criando isso eu posso estruturando né o meu Júpiter notebook meu notebook

aqui por isso que se chama notebook uma coisa bem legal de saber eu só é que por exemplo quando a gente tá nessa ferramenta aqui né eu posso simplesmente clicar com o botão direito aqui ó né porque eu tenho um conjunto de possibilidades entre elas por exemplo eu tenho que decisão usar isso aqui bastante é o Clear out quando eu aperto aqui tem simplesmente limpou todos os meus resultados tá eu posso também né executar outras tarefas aqui ó eu posso executar todas as tarefas de uma vez eu posso executar uma tarefa uma por vez eu

posso é mudar de posição aqui eu posso pegar minha a minha ao meu a minha céu e mudar para cima tá então são coisas que eu posso fazer e eu em salvar o meu notebook aqui ou então eu posso botão direito renomear o meu notebook primeiro E aí quando eu renomeio é que tá aqui ó do lado esquerdo tá então eu vou construindo aqui o meu notebook Essa é a ideia pessoal de construir né usar uma ferramenta dessa para construir atividades em patins causar muito isso aqui muito mesmo tá bom pessoal voltando com uma sala

fiz a demonstração do Jupiterweb né e agora eu vou falar um pouquinho sobre o Google colab é o Google colebenet colabora é enfim essa é uma ferramenta que a Google disponibiliza né pra desenvolvimento em Python ela é muito similar ao Rio P notebook al Jupiterweb que eu acabei de mostrar para vocês que o desenvolvedor né é instalar na própria máquina a o o Google Web é uma Na verdade uma customização do Júpiter médio Jupiterweb mais lembre-se pra gente poder usar essa ferramenta tem que tá conectado na internet eu tenho que ter uma conexão com a

internet não não consigo Então não cocô web é só para quem tem uma conexão a internet algumas vantagens legais aí que eu tenho do Google Caleb A primeira é que eu não preciso tem nada de Python instalado na minha máquina eu preciso ter uma conta no Twitter pai tu não te juro que eu não preciso ter nada né Eu sempre sempre eu vou me conectar na ferramenta lá do Google e aí eu vou executar por lá aí já vai estar com tudo pronto lá esperando para eu poder trabalhar uma outra coisa que eu não preciso

fazer ensino bibliotecas né a gente vai perceber durante a disciplina a gente vai usar várias bibliotecas né algumas A grande maioria delas as principais né o próprio é anaconda próprio Júpiter já vai ter disponível lá né bateu sentimento importar e usar algumas usar instalar a gente vai ver situação tiver pensar instalar no caso do Google colab né E já deixa todas as bibliotecas disponíveis aí algum caso outro negócio instalar mas aí eu estava direto uma ferramenta preciso me preocupar em instalar isso na minha máquina ele vai estar lá no ambiente do próprio Google outra coisa

né é o acesso a GPU CTP os gratuitas pessoal em todas as versões de google.com leve gratuitas que disponibiliza mas a maioria sim a maioria sim na hora que você conectar vai perceber se tem aula não é e aqui é o uso somente se necessário na nossa disciplinas não vão precisar mas você precisa fazer algum desenvolvimento que demande um pouco mais de processamento você precisa que tem que fazer distribuição de processamento tal aqui é um ótimo exemplo a gente testar né usar GP uso atpu né são coisas bem legais que eu vou coleb disponibiliza outra

coisa muito legal acesso de qualquer lugar né como ele fica integrado com seu Google Drive né com o seu gmail a por exemplo cidade com guardar no Google dar sem qualquer conectador que você conectar se abriu o seu gênio você digitou com a web se abre todos os seus os seus notebooks para você executar onde você tiver em qualquer lugar ficar até no celular se consegue executar outra coisa muito boa do colega é o compartilhamento se consegue comprar saragoça Compartilhe o documento do Google Docs por exemplo a planilha né você compartilha também um notebook do

Google colab ou seja você Compartilha aí Que beleza né para programar junto com outra pessoa com seu time enfim né você consegue compartilhar isso facilmente com uma outra pessoa e ele não depende da máquina local pois pode ser uma vantagem né então Google qual é a gente tem uma máquina arruma máquina que não tá legal né que tá com algum problema de configuração tal basta que você tenha um browser tem um browser acessar sobre o colégio e vai funcionar exatamente igual de uma outra pessoa que tem uma máquina boa porque não vai ter diferença né

O que você precisa ter uma boa conexão de internet e um browser que funcione bem e aí você vai conseguir programar ao contrário né a desvantagem é que você tem uma máquina muito boa o Google Web não consegue aproveitar né Essa qualificação da sua máquina Por que para ele tanto faz a máquina que você tá usando é a gente vai usar muito Google coloque no recipiente vai puxar quase que exclusivamente o Google colega na disciplina porque eu acho bem fácil usar ele né e ele vai e por meio da gente consegue fazer tudo que a

gente vai precisar fazer nessa disciplina então é essa ferramenta eu falei para você instalar em para lá na conda instalar o jogo tá na máquina de vocês aí não é legal você tem isso na sua máquina e agora você vai ser um profissional hidratação e você saber como é que manipula aí na sua máquina mas para nossa disciplina não vai precisar de causar tudo E aí tem desvantagem também desvantagens são essas né é depois de algum tempo a execução que ela interrompida então ele praticamente Desliga a máquina não sei que a gente vai acionar uma

máquina né porque vai vai separar uma máquina lá no servidor do Google e a gente vai executar e depois ele pega e desliga essa máquina é o seu junto notebook fica intacto seu notebook fica intacto mas ele desliga mas você precisa reativar essa máquina de novo outra coisa você vai perceber o que a gente vai fazer durante a disciplina que quando as vezes eu vou subir um arquivo para download no Google Web ou então a gente vai instalar o mapa treinar da biblioteca que depois que ele dizia que essa máquina eu ligo de novo eu

preciso reinstalar biblioteca Eu preciso subir de novo esse arquivo porque ele simplesmente apaga tudo que for externo né mas é uma prática né que tranquilo de resolver não para demonstração do Google Caleb também porque o Goku leva a ferramenta bem legal uma pessoa voltando então para ver a demonstração do Google com leve simplesmente você vai aqui na Oi Rita College aqui né eu já tô logado na minha conta do Google mas já estou logado esse importante E aí quando eu clico Google colega que ele vai abrir para mim aqui eu ensinou exemplos recente conectar com

quadrado conectar com criativa e tudo que você salvar aqui eu tenho que você quiser automaticamente vai salvar no Google Drive aí então eu vou abrir aqui um novo Júpiter notebook vou abrir uma tela nova aqui ele vai abrir essa tela para mim do notebook não perceber que a tela Ela se parece um pouco né com a tela do Jupiterweb né porque na verdade é uma derivada da outra mas com algumas novidades aqui que a gente não tinha antes uma das coisas aqui para executar né eu tenho aqui ó esse essa certinho aqui nessa essa Flash

aqui então eu posso vir aqui né e fazendo coisa que eu tinha feito a x = 10 por exemplo percebam que aqui ó tem um botãozinho conectar ele vai fazer sozinho isso para mim mas vai demorar um pouquinho a primeira execução que eu vou fazer ele vai demorar um pouquinho então é só vamos e aqui olha só está locando a minha máquina aqui ó conectando legal E aí vai conectar a máquina para mim inicializando Beleza quando é que tem uma máquina vai começar a rodar o processo já rodou o processo aqui ó executou foi um

setinha Verde aqui eu vou colocar aqui agora código mais uma telinha decorre mais uma célula de código x E aí a mesma coisa eu posso executar aqui o posso dar o shift PC bom pessoal que eu só coloquei o x aqui já começou a me ajudar com o código essa é uma boa característica também a gente no super leve mas aqui no Google Web é uma coisa muito impressionante aí rapidinho já atualizo pra gente eu vou dar um shift enter ele vai mostrar o resultado aqui do X para mim é são características do Google Web

eu queria mostrar para vocês que aqui ó quando a gente vai executando né a mesma coisa que a gente tem de possibilidades lá no Júpiter leva a gente tem aqui também então presente eu quero colocar texto aqui coloca o texto mesma coisa venho aqui a marcação né cabeçalho então cabot o irmão do cabeçalho aqui para mim a mesma coisa um outro tamanho eu vou colocar mais um aqui ó mais um de texto a 12 cabeçalho 12 manda executar e assim vai metade quando eu vou colocar os cabeçalhos Olha só aquele monte aqui para mim como

se fosse um cabeçalho mês seguido do outro acha que é muito legal ajuda a gente depois na hora de consultar o código de ver o código enfim acreditar que eu tô na sala lateral aqui ó se eu clicar aqui nessa parte de baixo dos arquivos não perceber que ele tem aqui já almocei estou deita e deixei disponível alguns arquivos de exemplo para gente dá para sete dias em pra gente poder manipular aqui você quiser a gente vai usar isso mais para frente na disciplina quando eu vou subir um arquivo né sobre o arquivo para download

lá para poder utilizar eu também vou usar essa ferramenta aqui para poder subir o arquivo uma coisa legal é importante mostrar para vocês é o seguinte que aqui meio ambiente dizer que são também mesma coisa eu posso dizer que está tudo dizer que tá antes é que tá a seleção executar após enfim interrupção reiniciar o ambiente Então são características que eu tenho dentro essa ferramenta para poder executar se eu quiser pegar aqui ó eu tenho essa barrinha de cá mente eu posso subir para cima não posso subir a acima Posso descer aqui a célula fazer

o que a gente for quiser para manipular queria mostrar pra vocês também aqui o compartilhamento Onde eu posso fazer posso fazer comentários muda o nome do meu arquivo aqui igual eu faço fazendo do Google Docs né então eu podia colocar aqui primeiro ai o script o pai tu Oi e aí vai salvar com esse nome igual faço com qualquer outra ferramenta qualquer fundamento do Google só pra vocês aqui é a máquina que ele reservou Então tá mostrando a máquina que resolveu aqui que é onde é que vende com python 3 tá E olha que legal

se eu vier aqui embaixo alterar o tipo de ambiente execução olha o que me aparece acelerador de hardware GPU e TPU aí vai dizer omitir e saída da célula de código Salvar esse notebook tá eu posso fazer isso também aqui nesse caso pessoal só se eu precisar realmente usar GPU e CPU eu vou colocar senão eu vou o Google inclusive recomenda que a gente não usa não for necessário só para finalizar que o que eu gosto de fazer você pode criar um novo aqui ó novo notebook da brother É Igual àquela que eu estava usando

vai tentar conectar no meu drive tudo bonitinho de novo vai abrir uma já um notebook novo para mim quando você eu abri essa telinha aqui né Toda vez que você for começar um programa não pertencer Põe o nome vai salvar lá no seu Google Drive uma outra coisa que eu queria falar para você para gente fechar essa parte é do Gol colega aqui é as configurações eu tenho aqui ó o tema né lá e te dar que que aquele escuro Claro tal mas o editor eu posso mudar o tamanho né o tamanho da letra aumentar

agora deixa grande vocês conseguirem ver e eu sempre coloco aqui o recuo em quatro espaços ó que é muito importante para o pai então essa quantidade de espaço que tem o recuo e o Júpiter leve o Hulk notebook trabalham com quatro você coloca quatro aqui depois você for pegar esse notebook for usá-la no seu jogo de leve não vai ter problema nenhum ser ter que ficar mexendo outra coisa interessante que eu colocar isso aqui é Engraçadinho né esse modo ocorre de modo kit aqui se você salve só que daqui a pouco começar aparecer não é

um cachorrinho correndo na sua tela o cachorrinho correndo na tela um gatinho correndo atrás enquanto está programando tá então esses pratos tirar para distrair um pouco aí da nossa atenção vai acontecer isso bom então esse é o nosso é Júpiter é todo o Google Web né então faço aqui as operações que eu quiser né então eu posso criar que um as operações da maneira que eu quiser fazer um a executar processos aqui nem ele vai executando esses processos para a gente poder usar da maneira que a gente acha melhor tá bom vamos voltar lá para

finalizar nossa aula então espero que usem bastante essa ferramenta aqui bom pra gente abrir a demonstração do Goku leve também são duas demonstrações bem simples e bem bem objetivas né para vocês verem a ferramenta funcionando experimentar em Google Colégio que é tão importante futebol para finalizar essa aula então né o Júpiter notebook o Júpiter leve o Google Web são ótimas alternativas a Quem é desenvolvedor data-size é só o mundo inteiro usa isso tá não vai ser diferente com vocês compreendam as suas diferenças né dessas ferramentas né quando vocês a usar uma ideia também mas um

programa maior ser uma ideia diferente para charme que eu mostrei lá no começo mas para fazer algumas atividades de desistência de dados mesmo né alguma colega é sensacional e vai te ajudar muito eu espero que vocês usem bastante as ferramentas né experimentem Vai lá pega o que é de Python e começa a mexer aí executar se você não conhece Studio Python começa a colocar código ali para poder executar é bem fácil de mexer com essas ferramentas eu não tenho muito mais do que eu já mostrei o resto agora é código a gente vai ver muito

o código daqui para frente na disciplina é importante que vocês mexam com isso e aprendendo cada vez mais né operar essas ferramentas então obrigado por mais essa aula a gente se vê na próxima aula 1 [Música] E aí