Projeto Ampev com databricks - Parte 1

Vamos lá Então primeiramente É acho que todo mundo já tá com a conta dat Breaks né a gente teve várias aulas ali que a gente criou já a conta no datab community eu mandei hoje cedo também lembrei que teve uma acho que duas pessoas que entrou essa semana talvez não teriam mas bem tranquilo né alguém não conseguiu acessar acho que não Beleza então tudo certo bem tranquilo né só clicar em dois Bot botõezinhos eh aviso importante não sei se alguém já fez projeto ao vivo assim seguindo o nosso vai ser bem tranquilo tá então não

é para ter complicação mas geralmente a gente faz assim ó a gente eh Vai tentando fazer junto se chegar é um momento você se perder e ver que não consegue mais travou de alguma maneira você não consegue ir mais paraa frente começa a prestar atenção no projeto e depois você pega a gravada e refaz então Para algumas pessoas vão ser bem tranquilo então a pessoa vai seguir para outras que estão no início talvez vai ser bem complicado então nesse momento talvez é melhor prestar atenção e depois ir fazendo sozinho que aí você conseguiu prestar atenção

do que ir tentando fazer e você vai ficar tentando fazer digitando as coisas não vai conseguir muitas vezes prestar atenção na na explicação né então geralmente até projeto ao vivo assim quando vai para Evento a gente tenta acompanhar Quando não der quando não dá né você falar isso tá muito complicado aí você meio que pausa vai assistindo Depois tenta fazer com mais calma mas forando algum problema vai me avisando e a gente vai vai tocando todo mundo tá no dats vamos vamos iniciar alguém I falar alguma coisa temuma versão do que a gente vai precisar

específica a gente vai criar tudo junto aqui não precisa se preocupar não aity Que já tá disponível ali mas eu vou explicar Então vamos lá eh então todo o trabalho nosso ele parte a partir que uma pessoa faz uma solicitação então a gente aqui imagin que você tá numa reunião e um gerente ali da daev que é uma grande empresa de fabricante de bebida não tem nada a ver com nenhuma outra empresa que vocês conhecem aí e ele fez uma solicitação preciso saber as cinco empresas que mais compraram Novos Produtos Quais são os Cinco produtos

mais vendidos e quais são os cinco produtos que mais geraram faturamento então importante que quando vou quando você tiver ali no cargo do de de engenharia você não vai receber uma solicitação Ah me cria uma tabela Gold que me traz essa e essa informação geralmente vão ser geradas perguntas e você vai precisar responder essas perguntas tá então por exemplo aqui o gerente de produto que poderia ser uma pessoa de negócio tá ele fez três Perguntas precisa saber as cinco empresas que mais compraram nossos produtos os cinco produtos mais vendidos e os produtos que mais geraram

faturamento Talvez ele vai tomar uma decisão de negócio em cima disso então ele vai chegar em algum momento a gerência precisa desse desses insights Então vamos lá se fosse uma empresa pequena você definir você iria definir a arquitetura que que você vai usar e gente aqui A Gente vai usar o dat braks e o dat Breaks community principalmente né porque ele é uma versão grátis só que o dat Breaks então falando assim só um overview bem rápido né Eh ele foi fundado pelos mesmos criadores do apach Spark Então quem não sabe o Spark ali tá

por baixo do dat Breaks ele é uma plataforma unificada de dados e ele consegue ter um ambiente ali colaborativo para engenheiro cientistas e analista trabalhar tudo de dentro de Uma plataforma tá em Spark então aqui ó é uma abstração do datab onde tem engenharia bi a parte real time machine learning dentro desse cara a gente tem o delta Lake que é um conceito aberto né então o delta Lake é uma ferramenta aberta a gente vai ver um pouquinho o que que é você consegue usar ele aqui com o dat Brick ou você consegue usar ele

direto também tá tá ele é uma plataforma Open data então ele vai tá ali tem dados estruturados Semiestruturado streaming tudo no mesmo lugar que que é a vantagem aqui de ser o os dados estruturados né E você ter esse esse dbfs que nada mais é do que uma abstração aqui dos dados se consegue usar WS Microsoft e Google usando o mesmo local do datab Então quando você faz ali antigamente a gente fazia um M Então você tem os dados aqui nessa parte aqui dos dados Você tem o dbfs dat Breaks a gente vai ver também

o que que é que é a Parte ali de file System Então o que acontece imagina que você tá usando a WS hoje aqui nos seus dados e a WS do nada Dobra o valor agora o nosso valor é tudo eu dobro você pode simplesmente pegar criar uma nuvem lá na Microsoft um sistema e ligar aqui dentro do Database aqui nessa parte de file System sem mudar nada no seu código para dentro então hoje as empresas viraram Muitas delas né estão já trabalhando com a parte de multic cloud então você não Fica dependente de uma

Cloud só você fica dependente do que for mais barato né então que for mais barato você tá tá ruim tem alguma coisa que não te entrega muda para outra Cloud tá isso é uma parte bem legal ali aqui do do dat Lake da dat braks né E por que que a gente vai usar dat Breaks não podia ser usar outro tal Será que o dat Breaks é tão bom assim eu trouxe até aqui alguma as últimas matérias que saíram todas são desse ano aqui ó datab capta 500 milhões E alcança o valor de 43 Bilhões

de Dólares então não sei se sabe o que que é sei lá 43 Bilhões de Dólares que será que que é isso né vamos ver o PIB do do do Uruguai Quanto que é o PIB do Uruguai o PIB inteiro do Uruguai é é 71 bilhões do Paraguai é 39 aqui esse ano 39 ou seja data Bricks ele é praticamente do tamanho do já tem o PIB do Uruguai isso é o tamanho que tá essa ferramenta Mas será que é só a gente que tá usando quem que quem que já investiu No dat Breaks Quem

que tá por trás esses 43 bilhões Amazon e Google aqui com com o capital G alfabet também o Google Então o Google tá duas vezes Sales Force Microsoft então todas essas Cloud que vocês acham que é concorrente todos eles estão investindo no datab Essa é a força do dat Breaks hoje tá então por isso que a gente vai escolher trabalhar aqui dentro vamos lá aqui a gente falou duas palavrinhas né a gente falou Acabou falando de Spark né que é baseado em Spark E falou também da parte de Delta Lake então no site aqui a

gente tem até o o site oficiais para vocês olharem ali na ferramenta né então Spark Spark nada mais é que o motor de processamento em código aberto que vai processar os nossos dados tá então ele é projetado para executar grande conjunto de dados de forma eficiente e ele suporta tarefas de processamento em Bet streaming então tem aqui ó o sitezinho então site oficial quando quiserem entrar na Documentação ah preciso fazer alguma coisa tem exemplos tem a comunidade Tem tudo aqui outro também é o delta Lake que é onde a gente vai armazenar os nossos dados

então o delta Lake é o camada de armazenamento de dados open source então ali os dados são são abertos você pode usar no dat Breaks tanto o Spark como Delta tá você pode usar no dat Breaks você pode usar no Delta então se você no datab braks e digital Spark Você tem Toda a documentação lá dentro do dat braks a mesma coisa você tem toda a documentação do Delta Lake dentro do databricks mas aqui ó você tem a documentação do open source Então você vim lá Delta Você tem o site oficial tá ó vale a

pena investir em Spark and dat Breaks Vale a pena vale a pena fazer os dois tá eu já iria diretamente pro dat Breaks E você já vai aprender Spark então qualquer coisa que você quiser Aprender você pode olhar dentro da s dat Breaks ou aqui então em vez de jogar no Google e ficar pegando pessoas que fizeram você vem aqui a gente tem que aprender a olhar em documentação oficial documentação do site ó vamos falar de vacum cara como será que faz vacum ver aqui dentro de de quem desenvolveu ó dat lei com vacum tá

os exemplos aqui ó tá aqui tá em dataframe tá tá tudo aqui a explicação então sempre busca Ah mas tá em inglês eu não consigo não consigo Falar em inglês só traduzir a página botom direito tem aqui alguma traduzir para português pronto tudo em português não tem mais desculpa Beleza então a gente tem nosso Delta que vai ser a nossa camada onde a gente vai armazenar os dados tá ele tá ali dentro do dat brak tá é otimizado a ideia do do Delta ali é ser otimizado paraa leitura escrita ele tem técnica de compactação indexação

de de dados e ele manté o histórico das alterações do dado Ali também então você excluiu uma tabela excluiu algum dado sem querer você consegue fazer esse essa volta no tempo a gente vai dar uma olhada nisso também então hoje ali a gente quando a gente deu uma olhada nos temas Então você vai dar uma pesquisada e fala cara eu tenho duas perguntas ali né três perguntas que que eu vou fazer então você foi dar uma olhada no sistema e você viu que esses dados ele vem ele tá lá no no csv ou no Excel

em algum arquivo tá então você tem o arquivo de estabelecimento e tem um arquivo de pedidos você falar cara eu preciso pegar isso e jogar lá dentro do datab a gente já definiu que o dat Break a gente precisa fazer em gestão e jogar lá dentro desse Delta tudo isso é salvo lá no dbfs do dat Breaks tá dat Breaks F System nada mais é do que um sistema de arquivo tá sistema de arquivo distribuído onde você vai ter armazenamento gerenciamento e acesso dos Dados então aqui você pode ali conectar com S3 com o blob

Storage com o Google Cloud Storage então você pode ligar tudo aqui nesse dbfs e ficar intercambiável igual a gente conversou ali então hoje a gente tem essa estrutura simples ah legal vou pegar esses dados e vou fazer a entrega porém e O que costuma acontecer nas empresas eh já informam pra gente A Origem desses dados ou então a gente tem que descobrir ainda onde a tem esses dados depende Depende eh não tem como você adivinhar né então alguém tem que te dar uma dica mas muitas vezes por exemplo quando você já tá muito tempo na

empresa né ele só aparece o Ah tem isso preciso disso e você vai buscar muitas vezes você chega à conclusão que não é possível trazer aquela informação Então já cheguei a essa conclusão olhei pelos dados que a gente tinha na empresa lá no transacional cheguei à conclusão que o que ele precisava a gente não tinha Naquele nível então ó no nível que você precisa eu não consigo atender porque a gente não tem então o que a gente consegue atender é isso então é sempre legal também se tentar levar uma solução e não problemas né então

isso fica dica para tudo na vida nunca chega e falar não consegui fazer isso não dá isso é sempre ruim isso nunca é bem visto pelo Ali pela pela empresa pelo seu chefe então chega com alguma solução talvez não é solução que ele quer mas é Diferente você chegar e falar ó não dá Então você vai falar que a gente consegue você me pediu aqui por exemplo os dados de venda por dia mas que acontece a nossa tabela só tem dado por semana então consigo te trazer esse dado a nível semanal tem sentido para você

às vezes tem e às vezes vai falar não e é uma coisa que tá além de você né é o que a empresa gera ou a gente investe em alguma forma de pegar as os dados diariamente aí um sistema ERP apartado Ali da da engenharia Então vai depender muito como muitas vezes o pessoal falar para você que não tem quando você vai procurar você acha então tem isso vai muito de você também o quanto que você quer se alguém falar ó pega isso tá nessa tabela você vai lá e fiz é de olho fechado muitas

vezes tem Talvez uma tabela mais fácil então é sempre legal dar uma buscada no Lake Principalmente quando a empresa é muito grande né então beleza A gente já fez o nosso Sisteminha aqui os dados vão vir para cá e vão ter uma uma saída eh e a gente vai usar uma arquitetura moderna a gente vai usar a arquitetura medalhão para fazer esse esse carro a gente já conversou aí diversas vezes sobre arquitetura medalhão vou trazer aqui um um resuminho né que que é arquitetura medalhão então quando fala de medalhão Você lembra de medalha tá chegando

as Olimpíadas aí então arquitetura medalhão Lembra as medalhas Quais medalhas tem olimpíada da copa do mundo a medalha de bronze a prata e a medalha de ouro certo bronze Silver e Gold aqui então isso é arquitetura medalhão para que que serve a camada bronze a camada bronze armazena os dados exatamente como eles são recebidos sem nenhum tratamento então do jeito que ele veio você pega esse dado e joga dentro do seu Lake não altera nada ah mas tá vindo com os dados ali quebrado tá vindo com alguma coisa com coluna que eu não Preciso não

importa você vai trazer tudo essa camada é uma camada de histórico então aqui a gente consegue fazer auditoria nessa camada né como que veio esse dado Ah tá aparecendo lá na frente de tal maneira Mas como que ele veio Será que alguém transformou e mostrou ele errado aqui na frente como ele veio da origem você consegue voltar aqui e olhar por isso que a gente não pode tratar eh parte de de auditoria se vim uma um Órgão fiscalizador quiser auditar esse dado sem você ter manipulado ele é essa camada que ele vai ver aconteceu alguma

coisa você mandou pra produção alguma coisa errada e estragou tudo Você consegue reprocessar a tabela inteira É só você ir lá pegar os dados da bronze fazer ingestão de novo e elas estão lá do outro lado tá então ele serve como uma fonte de de referência e recuperação dos dados a bronze a gente não altera Então depende muito você vai ver se às Vezes entre alguma empresa e o pessoal faz alguma coisa ali não é ideal então aqui eh o ideal também você pode trazer o dado aqui do jeito que ele tá então você tem

um csv você poderia trazer para bronze o dado em formato de csv do mesmo jeito que ele que ele tava ali mas você já pode trazer ele num formato mais performático que é o pode trazer em parquê então você pode simplesmente pegar ali no formato parquê trazer já Para dentro da da sua bronze e trabalhar a partir dali então aqui você pode trazer Jon csv e e tudo mais a gente vai sempre pegar a melhor abordagem ali melhores práticas já trazer em parquê então depois a gente vai paraa camada Silver tá segunda camada aqui então

é é a camada que você vai ter os dados limpos filtrados e já combinados entre as tabelas que você vai trazer então aqui a gente aplica as transformações validações e melhor o Dado tudo que a gente trouxe na bronze talvez você trouxe ali 30 Colunas da bronze Mas você só precisa para criar o sua tabela você só precisa de duas então para bronze você vai filtrar todos os dados irrelevantes da na Silver você vai filtrar todos os dados irrelevantes da bronze então aqui vai ter só o que a gente precisa e a gente vai fazer

a junção desses dados Então imagina que você tá numa numa empresa que tem um grupo de de empresas então Eh você tem uma empresa a uma empresa b e você tem cada tabela dessa você vai ter uma bronze de vendas da tabela a uma uma bronze de vendas da tabela a uma bronze de venda da da da empresa B uma e outra bronze de venda da empresa C quando você chegar na Silver você vai agrupar esses dados e você vai ter uma Silver de vendas e ela vira a nível corporativo Então você vai ter todos

os dados de venda num lugar só aqui já é o nível corporativo então ele veio tudo Alterando por isso que a gente filtra senão ia virar um imagina o que que o monstro que ia virar essa tabela tá outra coisa também aqui na Silver que a gente já vai ter os metadados Então a partir da camada Silva outras áreas já olham precisa entender o que que tá ali então você já vai colocar uma referência o que que essa tabela é então a gente vai ver quando a gente tiver salvando que a gente vai colocar eh

comentário na tabela essa tabela Serve para isso vai colocar comentário nas colunas Então essa coluna tem o valor total de venda aí a gente vai colocar coluna a coluna quando alguém entrar lá no catálogo de dados que a gente vai ver o databrick tem esse catálogo você vai conseguir qualquer pessoa vai conseguir bater o olho lá e vai ver não precisa ser um engenheiro pode ser uma pessoa da área de negócio vai conseguir entender o que que tem nessa tabela e o que que ela traz isso é Importante paraas outras áreas Imagina você vai fazer

uma tabela de uma Gold né Alguém pediu ali vou fazer uma uma Gold para entregar um resultado para alguém e você tem as você vai pensar Ah eu tenho que fazer a bronze a Silver Gold não talvez Alguém já tem isso pronto já na Silver é só você fazer a sua Gold você não precisa criar o essa estrutura inteira Então você vai olhar ali nas tabelas que tem na Silver você vai conseguir entender o que que tem e falar Opa já tem o que eu preciso é só mostrar ali pra gerência Então existe também essa

parte de pessoas pedirem coisa que já tá pronta então lembra lembra que quem te faz a pergunta o que que essa pessoa aqui Conhece né lá quem que é ele ali gerente de produto você acha que essa pessoa sabe alguma coisa de dados muitas vezes não sabe nada ele tá só lá tá então acabou de entrar na empresa ele fala preciso da das cinco empresas talvez já tem uma tabela pronta então é Seu trabalho também buscar e ver se já tem alguma coisa pronta para não ficar trabalho duplicado né senão você faz de olho fechado

chega lá fica dado tudo duplicado dentro do leake Isso não é bom pro pro pro preço né pra saúde da empresa Então beleza Eh imagina aqui a tabela a gente falou ali de vendas entre empresas então também de origens né então você tem a venda do e-commerce venda direta lá a pessoa que entra na loja você vai ter essas tabelas Separad aqui na bronze quando chegar na Silver é uma tabela de venda só beleza depois a gente vem para gold ah a última a última camada aqui do Nossa do nosso da nossa arquitetura medalhão então

a Gold ela armazena os dados totalmente transformado e agregado então aqui vai ser aplicada a regra de negócio Então imagina quando você tá transformando a sua Gold a pessoa ali te pediu uma regra eh bem complexa dos dados Então você tem Que pegar os últimos seis meses eh comparar com os mês de 2019 e depois pegar uma média disso e trazer a moda Ah mas por que o ano de 2019 porque 2019 foi o último ano bom geralmente da empresa foi último ano antes da pandemia então é referência para muita gente ainda os dados de

2019 Ah então beleza vou comparar isso tudo trazer aonde que eu aplico essa multiplicação divisão e tira moda no final onde você aplica aqui na camada Gold tá então aqui a gente vai ter também vai ter a parte de metadados tá E daqui os dados são usados para ório e análise então numa arquitetura correta o o data o por Bi por exemplo ele vai conectar só em tabelas golds tá então ele vai pegar tabelas golds fazer A modelagem e mostrar pro dado tá você quero fazer análise quero fazer relatório em cima de tabela Gold muitas

vezes o depende o seu cargo ali você pode estar fazendo Talvez um um Dashboard uma área inteira usar ou você pode estar fazendo uma análise para ali o que que foi o que que ele pediu ele quer saber né as cinco empresas em nenhum lugar que ele tá falando que ele quer ver um dashboard nada ele quer saber essas informações ele precisa para tomar alguma decisão agora o que o gerente vai fazer com isso não sei qual decisão ele vai tomar mas ele precisa Então a gente tem que levar esse dado para ele tá Patrick

então a Gold é onde Eu tenho os dados mais agregados possíveis exato onde você vai ter as agregações também então por exemplo eu quero trazer o dado você tem as tabelas tudo por dia né Silver tudo por dia eu quero saber anual você vai fazer agregação por anual você vai ter a tabela de vendas anual vai tá dentro dessa Gold Beleza então aqui isso são boas práticas tá então talvez você entra numa empresa Aí que às vezes quando um constrói errado que a gente vê muito a Gold ligando direto na bronze pessoa na pressa tem

que fazer uma abstração para Silver aqui ele dá um select lá dentro da bronza onde vem os dados e solta dentro da é isso então muitas vezes a empresa bloqueia e fala ó dat Bricks só conecta em Gold porque se liberar até até na bronze Eles ligam então que o dado rápido ah o gerente pediu PR ontem então Tem que tomar cuidado a gente a função Nossa é garantir que essa arquitetura aqui vai funcionar nos arquiteto se tiver um arquiteto na empresa às vezes não tem às vezes tudo junto com engenheiro no caso que a

gente ves mod floco de neve exato você vai fazer a modelagem ali quando você entrar no no datab você vai criar as golds né E você pode fazer a modelagem ali aquela modelagem semântica dentro do datab Então pode fazer aqui a gente usa Ou big table que é um tabelão com todos os dados ou starima exatamente o Star schima a gente já não usa snowflake tá nessa arquitetura moderna não faz tanto sentido a gente ter oa desse desse comentário eh quando a gente tem as as tabelas dimensões né lá no no Star por exemplo essas

tabel até as tabelas dimensões elas fazem parte da Gold ou somente a Fato fazem parte da Gold a gente só vai conectar Gold lá no power bi se você Deix Power bi também a a as dimensões vão também vão tem que como que você vai fazer essa ligação né que conecta com o for bi que a Fato eraa a única tabela que eles consumiam entendeu não pode consumir Gold não a verdade é o seguinte a verdade pode consumir você vai entrar em empresa que o pessoal consome de tudo mas o ideal seria que só consumisse

a Gold Então vai ter por exemplo as últimas asos últimos projetos que eu Trabalhei tá só projeto grande nenhum usava starima mais ninguém usava Fata e dimensão tá ninguém mais usava uma tabela com todos os dados uma tabela desnormalizar que aqui você vem uma tabela gigante na Silver tá e a Gold você leva só o que você precisa e às vezes você precisa de três colunas e pronto você leva as três colunas e aí tem outra Gold que tem outro dado que você precisa com sei lá com tem uma g de cliente por exemplo com

todos os Clientes aí você liga aqui e leva vai embora então muitas vezes você não precisa fazer isso mas ah qual que é o que que eu aplico na minha empresa é tudo depende Então você vai aprender quando você chega o engenheiro Senor tudo é depende então a você vai aprender a testar as coisas e não fazer o que todo mundo Manda então o pessoal vai falar ó a gente tem que fazer isso isso e normalizar e normalizar a tabela na Golden aí você testa e leva para ele Ó Eu tenho uma se se eu

desnormalizar fazer um tabelão eu consigo economizar tanto entendi e é isso Então essa é a resposta é isso que a gente vai fazer no futuro quando a gente entra então para quem tá pensando em ser Júnior e pleno ali você faz o que estão mandando então Tão falando ó tem que fazer isso chega lá faz o que tão mandando e vai indo vai chegar num certo ponto que é aí que você começa a ficar importante aí que você chega em cargo de especialista e você Chega especialista aí você tem diversos benefícios você tem PLR igual

do gerente você começa a ter diversos benefícios ali mas quando que você consegue fazer isso quando você mexe em dinheiro então a empresa toda a empresa Visa lucro então você acha que você quer ser engenheiro para fazer as coisas de engenharia você tem que ser Engenheiro e qualquer cargo tá para dar lucro pra empresa se você der lucro se você gera formas ali deles ganharem mais você É Valorizado por isso toda empresa tá pensa bem quando você tiver na empresa se eu tô só fazendo o meu trabalho ou eu tô fazendo alguma coisa para gerar

lucro então sempre tenta trazer valor de alguma forma tá ou pode ser até nem sempre em valor financeiro mas conversar muitas vezes cara do negócio ele fala pô a gente nunca teve tal coisa uma dor que a gente tem é que a gente nunca Conseguiu ver os dados dessa forma aí você fala Opa eu acho que eu consigo Fazer isso e leva lá para ele então o pessoal tem dificuldade em muitos né quem já tem experiência aí de o pessoal os gestores antigos T acostumado pegar um Excel é acostumado ter os dados lá e usar

aquele Excel tá ele usa aquilo e você cria no par bi bonito atualizando ao vivo e ninguém usa porque ele já tá habituado aquele Excel que ele já viê uma tabela tudo como que você faz então você pode ficar chorando fazendo as coisas reclamando pro seu chefe falando Que ah não usa não usa tal Ou você usa out abordagem começa a fazer reuniões Car de negócio identificar coisas que eles não têm que eles não conseguem fazer no que eles não conseguem fazer no Excel ou ver lá no no sistema dele atual e faz isso no

power bi que aí vai chegar um momento que ele não vai conseguir mais usar o dele porque a informação que ele precisa tá lá dentro do do Power Bi você vai mostrar uma coisa que Vai facilitar a vida dele aí o fala nossa Então é isso E aí acabou acabou Excel se você fizer a mesma coisa que ele faz no Excel ó fiz igualzinho Só que mais bonito cheio de cheio de corzinha Olha que legal ele vai falar vou continuar usando o meu ele já tá habituado Só que você tem que levar coisa que ele

não sabe esse é o Esse é o segredo Então isso é em que todo mundo peca então beleza A gente tem a nossa Gold aqui tá que vai armazenar esses dados as regras de negócio contendo os Metadados pode falar tirar uma dúvida é então no dia a dia a gente vai ter várias tabelas Gold e pode usar elas juntas é isso pode usaras J por exemplo que nem você falou eh vou ter uma cliente uma produto e aí por exemplo na hora de fazer um dashboard no no power Bi eu vou pegar várias eu não

vou ter que ter uma uma tabela Gold que link as outras tabelas depende da sua pergunta qual que foi a pergunta do negócio você pode usar uma só ou você pode usar Várias a nossa aqui a gente vai ver a gente S vai criar ainda essa tabela mas ali ele fez três perguntas quantas golds eu preciso para responder aquelas perguntas pode ser uma só pode ser duas pode ser três Então vai depender do que foi solicitado para você e geralmente a gente para o o o engenheiro de dados ele para na Gold é aqui o

trabalho do do engenheiro chega até aqui ah mas agora eu tenho que construir um um Dash todo colorido lá pro cliente olhar aí vai pra Parte do do analista deixa deixa eu só contribuir com com com a com a sua resposta Patrick eu acho que as as tabelas na camada Gold tem que ser o mais performáticas possíveis então assim se você tem três tabelas e elas não performam você tem que desnormalizar e colocar elas numa tabela só porque o Power bi não trabalha por exemplo com volume de dados né então assim ele tem ele tem

que trazer da da Gold né O que a gente chama agora de Gold é porque eu tô Tô vendo essa tecnologia nova para mim mas assim para mim é performance então assim o o que vai definir a estrutura do teu dado na camada Gold é como qual rapidez você traz aquele dado pra tua ferramenta de bi ho só no caso Quanto quanto mais uniões o cara precisar fazer no por bi mais menos performático vai ser né exatamente quem mais I falar para quem ainda utiliza a a estrutura de DW de star Skema ou snowflakes o

o por bi tem O para quem usa o Premium né o query Direct que aí dá uma agilizada gigantesca para poder fazer consultas de uma de 1 hora 30 em 30 minutos que aí dá uma resposta para você continuar tendo performance mesmo tendo essa estrutura exatamente Então você tem abordagem padrão e você tem abordagem com Direct query também que você faz a query ali direto e com certeza todas as golds ela tem que ser performática tá Então a gente vai usar até uma estrutura Aqui de clusterizado que já é usando Liquid cluster que é uma

coisa nova que saiu que saiu em preview saiu de preview esse ano que ele é performático pr leitura tá então nem sempre você vai conseguir usar uma tabela só para gold tá nem sempre então eu tenho tinha dashboard ali que pegava de cinco golds e era super performático e tem tabela que pega de uma só e não consegue rodar porque tem muitos dados então às vezes a gente tinha até que quebrar Então A ideia é conversar com o pessoal e entender muitas vezes eu ia pegar a tabela e ao invés de eu jogar tudo na

minha Gold eu deixava até umas partes da query para ser feita lá no par bi aí mascha Ah mas é muito mais lento fazer isso no par bi depende às vezes não é às vezes é melhor Ah eu preciso ter os dados de sei lá de 2019 2023 invés de eu criar uma coluna já de 2019 e repetir todos os dados quando você faz pelo Power bi ali fica muito Mais rápido ele já traz isso então é tudo teste tá não tem resposta mágica para praticamente nada é tudo teste então Depende se você tá numa

empresa ali que você sai fazendo tudo que todo mundo sempre usou você vai ler um documento vai falar isso aqui é boa prática isso aqui todo mundo faz dá certo mas às vezes se você sair do padrão fica mais rápido por isso que o engenheiro Senior é tudo depende e o analista também tudo depende da sua Quando você começar a fazer as duas formas você vai ver qual que é mais rápida e você entrega o que for mais performático muitas vezes a gente tem que quebrar o padrão às vezes para chegar ali que que isso

vai trazer de Economia Ah mas é 5 minutos aí não aí não faz sentido Ah vamos economizar 50.000 por ano vale a pena a gente quebrar entende alguém mais e Patrick eh o conceito de cubo ele não tá sendo mais Usado atualmente criar oo com mod Usa usa Sim você assistiu ali o nosso treinamento ADP 900 da ADP 900 não eu esse último eu não assisti agora não depois você assiste nos vídeos lá a gente fala um pouquinho de de cubo também tá beleza mas a gente usa emind assim na parte analítica eh beleza pessoal

até aqui beleza vamos lá então a gente tava falando ali da parte de armazenamento de arquivo né Então a gente vai armazenar Tudo em parquê parquê é um formato de arquivo de alta performance então ele é colunar é otimizado para paraa leitura tá E e pra escrita também eh ele tem a parte de compressão que ele reduz espaço então suporta a ferramenta Spark rup pandas aqui a gente tá usando Spark tá E ele é usado principalmente para grandes conjuntos de dados então ele tem uma vantagem gigantesca ali sobre por exemplo o csv tá nessa parte

De leitura escrita então toda a nossa arquitetura quando a gente for salvar aqui o dado a gente vai salvar em parque e a nossa arquitetura vai ficar dessa forma Então a gente tem os dois arquivos que a gente analisou L fonte a gente achou que é um arquivo podia ser um banco transacional podia podia ser se olhar ser um banco Oracle ali trazendo os dados podia ser a gente viu que tá sendo o arquivo ali final RP da pessoa no final ela gera um arquivo csv e solta Numa pasta é isso é isso que a

gente tem que trabalhar então sempre a entrada dos dados aqui pode ser qualquer coisa né pode ser uma API você pode estar pegando dados do do Twitter pode estar pegando dados de de onde for no nosso caso aqui a gente tem dois arquivos csv esse é o nosso Case né então a gente achou dois arquivos a gente vai jogar na camada bronze Silver e Gold tá que vai ficar lá dentro Do dbfs do datab dat Lake e tudo isso salva em parquê Então a gente vai passar ali ponto a ponto a gente vai entrar agora

no dat Breaks Então já vamos começar vou passar para outro lado primeiramente ó vamos jogar ele para quem quiser seguir inglês pode seguir mas a gente vai padronizar aqui e vamos jogar em português Então primeiramente clicar ali no seu nome né na na bolinha ali que tem A primeira letra do seu nome em configurações preferências e mudar para português se alguém não conseguir só falar beleza todo mundo foi Chegamos aqui outra coisa que a gente vai fazer é habilitar o dbfs tá então para quem não talvez o seu não vai vir habilitado você vai agora

ali onde você tá mesmo vai em avançados vai tá em português né você vai aqui em avançadas e vai ter um lugar você vai rodando ali o mouse para baixo Vai ter ali dbfs file browser aí você habilita esse cara aqui se você não Habilitar não vai aparecer ali pra gente o dbfs beleza todo mundo a gente vai ver depois faz um favor para mim todo mundo dá um F5 aí agora atualiza essa página dá um F5 ou vem aqui no na atualização da página e atualiza 100% né é Não não fica 100% mas aqui

na parte principal ele fica só uma observação Tranquilo então atualizou Beleza a gente vai vir aqui na primeira tela do dat Breaks todo mundo tá aqui tá Então a gente tem aqui o os espaços vai explicar aqui o que é um pouquinho cada coisa então bem rápido amente né então Nosa parte dat Breaks acho que todo mundo tá nessa tela Então a gente tem primeiro a par de novo que cria os recursos dentro do datab Breaks a gente tem um espaço de trabalho que a gente vai visualizar os nossos notebooks e Scripts tem os recentes

para ver tudo que você abriu por último a parte de pesquisa que você consegue pesquisar os notebooks os clusters o catálogo que vai gerenciar o os catálogos de dados e você pode organizar os conjunto de dados a gente vai entrar vai usar bastante ele tem o fluxo de dados que se vocês clicarem aí você vai ver que não vai funcionar porque ele não tá habilitado no Nessa versão community aqui a gente consegue gerenciar os dados agendar Tarefas também tá e a parte do da Computação que vai ser criar o nosso cluster pra gente gerenciar os

clusters e a gente tem a parte também de experimento de machine learning Então a gente vai ficar bem aqui nessa parte tá beleza todo mundo Conseguiu chegar até aqui tudo certo eu não o que que você não conseguiu fazer Gustavo eu perdi a hora que você você entrou em configurações eu não não peguei onde que você Entrou tava meio perdido aqui vamos lá vai nessa parte aí primeiro colocar em português isso já fez colocou em português bele beleza e agora avançadas clicar aqui ó em browser tem que habilitar esse DP FS o meu não tá

aparecendo esse avançados que que tá tá escrito Advanced eh tá em na parte de introdução aqui compartilha sua tela por favor acho que ele não clicou em configurações Aí consegue compartilhar sua tela Gustavo já P isso clica lá no G lá no canto superior direito Ah isso configurações tá vai em avançados vai descendo aí até você achar o dbfs agora aí ó tá desabilitado é só ativar agora atualiza sua página sua então dá um F5 na página isso aí Beleza lá tem alguém com a mão levantada Beleza então chegamos aqui né pessoal tudo certo beleza

estamos dentro do datak então primeira coisa que a gente vai fazer é vir aqui em em computer compute e a gente vai criar um cluster a gente vai criar ele de uma vez porque ele leva um tempo ali para para ser criado tá ele fica um tempo subindo só vir aqui criar então a gente tem aqui ó nome a Versão do R que o pessoal perguntou aqui mais cedo né a Estância então aqui a gente vai pôr aqui ó cluster anev pode ser qualquer nome é o cluster da empresa ali que a gente vai usar

colocar aqui PR ser anev não tem pode escrever pode ter espaço pode ter tudo aqui escolheu qualquer nome se V que ele já veio aqui e agora a gente vai usar a versão a gente vai escolher a versão do cluster Então essas versões de acordo com o datab vai evoluindo Colocando novas features ele vai alterando essa versão do runtime tá então a última versão que a gente tem aqui é a 15.3 e você vai ver que ó o muitas vezes o Spark aqui também ó ele evolui então aqui por exemplo 11.3 estava usando o Spark

3.3 aqui a gente já tá usando a última versão Spark né 3.5 então no ambiente produtivo para você testar Você pode vir pegar a última e pegar o de teste aqui e manda ver tá Pra gente num ambiente produtivo de empresa a gente sempre vai pegar a versão LTS LTS significa longterm support Então quer dizer que o databricks ele vai dar supor por um período maior para essas versão que tems tanto é que a gente tá versão 15 ele tá carregando a versão 9 aqui por quê ainda não venceu o tempo que ele tem que

dar suporte nessas versões essas versões elas são mais estáveis imagina que entra alguma tem Alguma atualização brusca para colocar ela nunca vai entrar aqui numa versão 14.3 que isso pode causar instabilidade na sua empresa pode dar algum problema então aqui ele só é criado quando tem certeza que aquela Filter funciona muitas vezes aqui sai na 15.3 mas pode ter alguma coisa que no ambiente produtivo pode dar problema dificilmente a gente aqui o usuário né fazendo um teste vai ver uma coisa dessa mas a gente já vai pegar a última ali 14.3 LTS Então é sempre

importante tá tá atualizado nesse runtime Mas lógico na empresa mantendo sempre a LTS tá então beleza A gente não vai configurar mais nada ele até falou ó você vai ter uma memória livre de 15 GB tá e o que é importante Ó seu computador encerrará automaticamente após o período de inatividade 2 horas então a gente tá usando um cluster aqui grátis depois de Du horas ele vai desligar e ele vai parar de funcionar mesmo você não Consegue religar ele quando você cria um cluster no ambiente pago ali da datab brakes você consegue ele desativa se

ativa Então você coloca ali um tempo de poucos minutos né para para acessar o cluster nesse caso aqui não ele desligou você vai ter que criar outro pode vir aqui e criar o cluster ó e ele vai começar a criar ele tá carregando aqui ó ele tá procurando uma Instância Eu nada mais é do que um computador ele tá vai liberar um Computador ali paraa gente pra gente usar de 15 GB Então beleza deixa ele iniciando a gente vai usar ele ali na frente nós vamos começar o nosso trabalho então a gente precisa criar o

os notebooks né pra gente paraa gente ir acessando tá então primeira primeira coisa a gente vai entrar aqui em workspace tá vamos criar o nosso ambiente primeiro clicou em workspace você vai criar vai ter workspace aqui em cima a gente vai criar O nosso projeto a pasta que vai ficar o nosso projeto Então vamos lá vai ser projeto o meu aqui né eu vou padronizar com Patrick deixa eu fazer uma pergunta idiota o que é um notebook notebook é um caderno de anotações exatamente o a tradução a a gente vai abrir ele aqui é onde

você faz os seus códigos onde você vai criar todos os seus códigos onde vai ficar as anotações ali do seu código Tá bom a gente já vai abrir ele aqui mas não é Não tem pergunta idiota não tá pode ser que tinha tem mais quatro pessoas com a mesma dúvida e não fizeram pergunta então qualquer coisa pessoal às vezes é simples muitas vezes para quem tá do outro lado explicando às vezes é uma coisa muito simples que eu falo todo dia eu nem nem passo pode fazer qualquer pergunta pode falar de o meu o meu

ainda tá carregando carregando o quê desculpa Aqui no aqui no CL eu criei o nome né isso a gente não vai mexer ainda tá girando eu posso sair pode pode sair ele vai demorar at por isso que a gente criou ele primeiro você pode vir aqui espaço de trabalho espaço de trabalho aí vai ter aqui ó workspace clica no seu workspace certo e você vai criar aqui o seu projeto ó criar uma pasta nente uma pasta também então vou pôr aqui o meu Projeto aqui é da empresa anev é qualquer nome tá então você pode

colocar aí projeto databricks de vocês eu vou separar aqui no padrãozinho que eu já sigo então tem o projeto aqui é o workspace onde vai estar da empresa mas dentro você vai você tem um usuário aqui dentro então se você entrar em usuário ó eu tenho o meu usuário Patrick vocês vão Ch de vocês também e aqui eu tenho vários outros projetos ó várias outras coisas né projeto que eu faço com com o Pessoal aí da da mentoria também então até um aqui com com o caí é o que a gente fez então fica aqui

dentro tá a gente tá criando dentro do workspace para ficar aqui mais organizado ele não tá dentro do usuário então a gente criamos o nosso projeto aqui D bev aí vocês pode entrar dentro do projeto beleza todo mundo Conseguiu chegar aqui já conseguiu abrir o seu projeto Sim tudo certo beleza né então vamos criar Agora a gente já tem o nosso o nosso workspace né o nosso projeto Vamos criar agora umas pastas aqui dentro de controle a gente tá organizando o nosso projeto ainda tá então primeiro a gente vai ter uma pasta de configuração depois

a gente vai criar as coisas aqui dentro ó então criar aqui no padrão de 00 pon configurações criar tá vou criar aqui também 01 ponto bronze que vai ser as nossas Camadas ó Já criei errado criei uma dentro da outra po voltar lá lá criar pasta 01 pon [Música] 11 tem aqui também se clicar com o botão direito na tela também vai ó criar pasta fica melhor ponto Silver ponto boa a gente tem aqui tudo o nosso Projeto Acho que tudo certo aí pode falar o meu eu fui criar Ele criou dentro de uma da

mesma pasta como é que você fez para separar você volta aqui dentro você tá dentro vai ter aqui o caminho que você tá ó vai tá aqui só você clicar aqui para voltar Ah tá você volta uma se quiser criar por fora em vez de criar se clicar com o botão direito aqui ó criar passa ele cria aqui dentro do se workspace direto Beleza então o caminho de vocês tem que Tá aqui ó atenção para não colocar espaço né eu coloquei um ponto pode ser underline também mas não pode ter espaço aqui nessas passas senão

você for usar esse caminho em algum lugar ele vai quebrar lá na frente mesmo colocando aspas simp depois Cara não sei não sei se colocar aspas simp aqui não sei se também vai ficar se tá criando uma pasta se vai ficar organizado né Não entendi só tiro De curiosidade mesmo eu nunca testei mas quando você for puxar o notebook a gente vai fazer uma configuração que a bronze ela vai puxar esse notebook aqui direto dentro da configuração em vez de você entrar sempre entrar nele você vai puxar direto e você vai ver se tiver um

espaço ele não vai funcionar Patrick você pode eh fazer de novo porque eu criei a pasta dentro só clicar aqui criar criar dentro da dentro do workspace então só voltar lá vem volta no seu workspace ó vtar Dentro de uma Passe aqui vou simular tô dentro da Gold tá depois vocês apagam isso clica aqui ó dentro de projeto é aqui você tem como é que apaga Patri porque eu criei a a pasta né só aqui foi abrindo aí foi criando uma dentro da outra você pode deixar isso não vai te atrapalhar agora mas você quiser

clicar você entra lá primeiro cria a estrutura aqui pra gente poder continuar o projeto depois quando você quiser excluir é só você vir aqui ó três pontinhos e tem Mover para lixo se já tá lá dentro pode deixar primeiro todo mundo chega Nessa estrutura aqui ó aqui é criar pasta igual cria no Windows mesmo meso pessoal só botão direito criar pasta normal sistema de arquivo né que a gente falou então a gente tá mexendo dentro do sistema de arquivo mesmo Maurício pode falar com a mão levantada Ô Patrick tive um probleminha aqui cara F o

meu a minha interface aqui ela tá um pouco diferente da sua eu não consegi eu tô chegando agora no como é que falar para criar aqui o workspace cara Compartilha aí sua tela então pra gente ver eu acho que eu fiz alguma coisa errada aqui cara na hora que eu criei a conta deixa eu compartilh aqui só um minutinho deve tá em inglês eu acho dele Ah não eu cheguei a a mudar PR como é que falar não abre aí que a gente já a Gente já vê Fica tranquilo é mais fácil ver ó tá

vendo aí aqui do lado aqui tá Tá diferente clica lá em dat braks lá em cima tá num outro ambiente aí mas beleza vai lá em vai lá em espaço acho que não é community community isso é porque ele não tá no community não ah é ele tá no Cloud É acho que Cloud verdade você precisa criar conta lá no community igual a gente mandou ali no Ah tá eu vou ter que criar com outro E-mail então né não é só clicar em workspace ali ó clica em workspace ó é outra é outra r a

documento é mas na verdade queia vai criar um workspace ó ah tá que o meu tava tudo diferente então entrei iniciar acabei fazendo um errado aqui é o problema desse cara aí é que lá na frente vai ter outras configurações ele não vai conseguir fazer entra no entra nesse link aí que o que o Thiago mandou No no chat ó é só clicar nele Pode fechar esse esse Caraí se entra no com ali el pode usar o mesmo usuário mesmo né É tenta jogar os seus usários sua Sen bom Agora sim agora já vê se

tá ativado o dbfs lá de uma vez a gente vai precisar usar ele daqui a pouco as configurações aí você vai ali em avançados na primeira parte ali ah Dbfs aí aí beleza só ativar agora eu já atualizo a página já dá um F5 nessa página quando a gente for abrir o dbfs e se de alguém não tiver aparecendo é só dar um vai ter que atualizar até aparecer al aí pode ali espaço de trabalho ah espaço de trabalho beleza ó você clica em workspace ali agora Agora sim agora eu tô vendo igual vocês tava

Tá diferente tá perdido agora aí nessa área de trabalho cria uma pasta aí dentro de workspace ali mesmo cria aí um projeto criar uma pasta escrito Ô projeto emprega dados projeto dat Bricks pasta mesmo né isso pasta põe projeto underline emprega dadosa criar agora aí você vai criar as pastas já Clica com aí nessa área onde tá vazio mesmo cria com o botão direito pouco para baixo aí ou você tem Que ter uma pasta primeiro á cria uma pasta primeiro PR gente fazer isso agora foi aí pasta isso Beleza agora é só seguir o eu

vou roubar a tela aqui de novo vai criar dentro não vai não não acho que não não vai não se você fizer por fora Ele não entra na na pasta beleza né pessoal todo mundo aqui então Obrigado além chegar de nada todo mundo conseguiu se alguém aparecer alguma coisa diferente pessoal já já pode chamar na hora aí tá que a Gente já vai vendo isso aí acontece mesmo então beleza agora a gente tem todas as passas fala Gustavo eh Bom dia pessoal eh fiquei com uma dúvida mas isso já é representação da arquitetura medalhão no

na prática hum aqui vai ser aqui vai ser aqui a gente tá criando pastas e a gente vai salvar dentro dessas pastas quando a gente for fazer ali o próximo projeto e tô pensando se vai ser um de Inteligência Artificial ou se vai ser Ali dentro já do Lake aí ele fica mais fica mais entendível ali com a parte de contêiners T mais você vê cada contêiner é uma é uma arquitetura mas aqui a gente vai usar um sistema de pasta então sim já é a parte do do medalhão já entendi fechou é que arquitetura

é um conceito né exatamente a arquitetura é um conceito Então vamos lá agora nós vamos nós vamos começar a construir os nossos notebooks tá Iniciar Então primeiramente aqui ó a gente vai vir em configurações a gente vai criar o nosso primeiro notebook então pode ser que aqui mesmo ó criar notebook quando você der um criar notebook você já vai entrar nessa página primiro V um nome para ele então esse notebook vai ter de Desculpa aí que minha tela travou como é que durações só clicar com o botão de só Clicar com o botão direito criar

onde você entrou para a pasta vai ter notebook dep Ah tá perfeito aí dentro de zerer configurações né isso dentro de configurações ah perfeito criar criar notebook fechou igualzinho então ali você Vu que a gente tem o criar notebook criar Pass beleza todo mundo aqui pode dar um nome aí pro seu notebook né vai ser aqui configurações mesmo [Música] tal beleza né então aqui dentro a gente vai construir os nossos códigos então quando eu for rodar um código aqui eu vou usar aquele computador que a gente criou lá aquele cluster então o seu cluster ele

tem que aparecer aqui verdinho ó opa pera aí me perdi Patrick como é que você chegou aí nessa tela Isso isso só clicar no notebook você criou ele já vai abrir aqui você Criou um notebook né clica nele ele vai abrir essa tela depois que cria tem que clicar em publicar não é só clicar nele que ele já abre e o a linguagem ali fica Python mesmo a gente vai chegar lá ainda que pode deixar qualquer linguagem deu certo Deu Só não tá aparecendo essa esse menu esse menuzinho aí do lado Ah tá você pode

clicar aqui ó Ah já achei já Achei tá então tem vários menus Aqui ó pode ser deixar assim mesmo então importante aqui é que a gente vai ter o cluster então seu cluster tem que tá aqui ó tem que tá verdinho se alguém não tiver deu errado lá a criação Então beleza aqui dentro aqui é só um é só um menu tá de configurações você quiser voltar não tenho Ten o índice aqui para quem vai usar a gente usa mais esse menu de configuração aqui você vai fazer os seus códigos então que Você tem a

opção de usar uma linguagem markd Python SQL ir R então uma coisa simples né a recebe sei lá emprega dados tá e roda aqui tá vendo que ele tá esperando ele tá entrando lá e o cluster executou agora se eu vi aqui na outra página e colocar um a el imprimir emprega dados simples simples simples Se você quiser mudar Ah imagina que eu vou usar Só SQL você podia vir aqui ó e alterar SQL aí o que que ele faz ele coloca um comando mágico aqui porcentagem SQL e você consegue usar SQL aqui se seu

código fosse só em SQL você poderia vir aqui e já alterar tudo para SQL deixar como padrão a gente vai deixar o Python mesmo e usar o SQL ali quando precisar Ô Patrick Como que você criou essa segunda célula por exemplo para ler o valor de a tem aqui ó mais código Nossa tô perdida aqui Patrick Em que Parte porque assim você ali no teu espaço de trabalho tô vendo que você tá dentro de config aí você criou um notebook aí chamado configurações Uhum eu não tô conseguindo criar aí dentro assim dentro da pastinha de

config você não criou o notebook ainda eu achei que eu tinha criado não mas você não tá no notebook que que tá escrito aqui ó nesse lugar onde tá escrito configurações tá escrito qu Então tá untitle notebook aí eu boto aqui então escreve configurações Aí aí vai ficar igualzinho Ah mas aí tem que salvar para ele aparecer aqui embaixo É só escrever só escrever e sair escreve clica em outro lugar ele já vai atualizar aqui ó ah não não foi ah ele tá criando fora deixa eu puxar então compartilha sua tel Ah já foi já

foi já foi tava criando fora achei aqui já ordenei a a pasta oi oi então ah tô perdido só vir espaço de trabalho a gente aprendeu né workspace Tô dentro workspace entra no seu projeto é sistema de arquivo é pasta igualzinho Windows pev né não tem nada a ver com a e tá aqui ó só pass que você criou a gente tá dentro de configurações entrou tá aqui seu notebook sistema de arquivo tradicional é só voltar tá aqui ó o menuzinho você vai onde você quiser tá tá no seu notebook clicou ele vai abrir para

quem tá perdido abre outra página abre outra página do notebook Deixa a parte aqui do menu PR venda do projeto né você vai ter um projeto só então você vai estar aqui dentro deev e vai pega outra aqui para abrir os os notebooks fica mais fácil seguir configurações boa estamos aqui todos aqui beleza que que a gente vai que que a gente vai fazer agora aqui a gente vai criar os bancos de dados tá então Ó vou Explicar como funciona a parte aqui dentro do dat braks aqui dentro do file System Coloquei até uma imagem

aqui para ficar melhor tudo que a gente vai salvar ele vai ficar dentro do metastore depois a gente vai ver o metastore então deixar aqui ó então ele armazena os metadados da tabela então igual esquim informações da tabela ele fica dentro do metastore dentro do metastore a gente vai ter um catálogo de dados então aqui a gente poderia por Exemplo ter um ambiente de produção e de Dev tem um catálogo para RH tem um catálogo para engenharia tem um catálogo para eh sei lá é compras então você poderia ter um catálogo um catálogo é onde

fica os seus bancos de dados onde é armazenado os seus bancos de dados ou Database e muitas vezes também chamar de esima então Database esima quem já é da de dados conhece bem é onde vai ficar os seus bancos de dados e depois a sua Tabela essa hierarquia metadados catálogo Database e tabelas por que que eu tô explicando isso que a gente vai entrar ali agora no catálogo tá então a gente vai entrar aqui em catálogo de dados ó precisa clicar senão vocês vão sair dessa dessa página aqui se for abre em outra para não

sair então aqui se for entrar em catálogo que que eu ten de banco de dados aqui eu tenho só um banco de dados de full eu preciso criar os meus bancos de bronze Silver e Gold aqui Tá só que aqui eu não tenho um botão de criar aqui dentro então vou ter que criar isso num SQL normal Então a gente vai lá e vai criar um banco de dados aqui ó Então vamos lá eu vou passar para ficar mais fácil vou passar os scripts aqui no chat como é que você criou um um aí só

de SQL porque só tem um uma caixinha para mim de de código como é que você abre mais uma caixinha de código mais Código aqui ó Engraçado que não aparece esse mais código para mim Ah tem que clicar clique embaixo botar o mouse em cima tá bom pode apagar essa primeira linha aí né a igual a emprega dados e tal não pode ah igual a empreg dados pode deixa organizar aqui ô Patrick eu mudo para para de Python para SQL então não PR só copiar o código e colar ele vai mudar tá vendo que ele

tem um comando mágico Ah tá Beleza então é só seguir aí ó eu mandei no chat ou quem quiser digitar só não pode criar errado aqui senão depois vai dar errado no final então a gente tá aqui ó vai dar um Create Database tá se não existir Então se existir ele pula aonde lá no catálogo de dados Spark catalog pon bronze Ah que legal e você vai ter a localização onde vocês vão copiar essa location aqui ó Dbfs F Store anev e bronze essa location aí dbfs é padrão né como se fosse aquele hdfs lá

do do rup da rup é isso ah que você pode Você poderia trocar também e salvar em outro lugar né podia ser um um outro sistema de de arquivo como aqui a gente vai salvar tudo dentro do dat Bricks Entendi então a gente tem que é bronze Silver e Gold qu I fazer pergunta eu cortei desculpa Ele uso Rive por baixo dos panos é porque ele apareceu tipo hive Quando a gente executa é o sistema de gerenciamento do do hive mesmo então é só vir aqui executar esse cara então vou executar o primeiro ó interromper

já deu um OK tá vendo tem que dar esse okz inho o segundo e o terceiro deu um erro aqui você mandou no chat aí isso tá no chat que PR mim não tá aparecendo você não tem acesso ao chat é não eu tenho acesso o chat mas não tá aparecendo a sua mensagem já tentei reabrir mas não Tá funcionando não vou tentar sair da da conversa você sair não vai aparecer vou mandar de novo o bronze V se você reunião noat da reunião Sim sim eu tô no chat da reunião vou mandar mais um

de novo vê se aparece se não aparecer talvez tem algum problema aí eu mando no no WhatsApp não faz mal você usar times corporativo vai é times corporativos tem restrição de chat aí se você tiver usando usa no Browser Ah tá Eu tô usando no aplicativo pode ser isso usando no Browser Ah você tá usando da deixa eu ver se ler aqui ó da empresa Não beleza quer que eu mando pelo WhatsApp ali se puder eu agradeço copiar tem que copiar tudo aqui p o DPS fale ó olha como tá na minha tela Ó tem

que ficar desse jeito certo separado mandei três códigos colocar os três códigos aí agora foi Deixa eu ver eu tinha criado errado Patrick uma dúvida se você coloca um código sem informar aquele porcentagem SQL e essa célula do notebook ele é inteligente suficiente para entender que é um skl ou poog ó joguei certo Deu errado deu errado ele ele tá usando compilador do Python aqui mas não faz mal se você tirar aqui ó se você colocar SQL ele vai criar ele vai colocar para você o comando mágico ó ah não legal se eu já se

você já mandar pronto igual eu Mandei já pro comando quando você cola ele já muda para skl automático ah achou mas se você trocar ele coloca para você tranquilo valeu o esse dbfs que é o endereçamento você colocou já é o que a gente criou ou isso é um que você tá Você tá criando no Spark isso esse aqui eu tô criando lá dentro do do Hi lá do dbfs do dat Bricks mesmo original a gente vai abrir lá para para vend desse cara isso que eu tô executando aí fica de alguma forma gravado aí

em config Essas células fica a gente vai ver ele lá ah Desculpa as perguntas bestas aí gente que é a primeira vez que eu entro não ver normal Eu também tô fazendo pergunta besta Calma a contin essas perguntas que me ajudando nava se precisava de ser da mesma forma que criou aa o mesmo nome ido Não a gente não usando isso aquias n aando de dado Ô Patrick a gente copia e cola e clica em enter colou aí você roda aqui o executar célula ou você pode colar tudo e depois vir aqui Executar tudo ele

vai Executar tudo ó Então vocês tem que criar exatamente igual igual eu tô criando Então se alguém mudar o caminho aqui lá na frente você não vai na hora de salvar pode dar algum problema é o meu já deu já mas você mudou o que a gente escreveu Aqui é é quando eu criei o anev eu criei anev traço as minhas iniciais não sabia tá mas não tem nada a ver uma coisa com a outra esse código aqui cola exatamente do jeito que eu tô mudando o SH se der erro a gente não vai voltar

isso não dá se cinco desses D erro a gente não vai voltar a recriar para todo mundo tá hora que chegar lá que a gente tiver gravando no arquivo de erro aí não tem nada a ver com o que foi criado antes ali não mas é só o nome de Uma pasta pessoal aqui tá criando um catálogo de novo ô não tem segredo é copiar o código que eu mandei aqui e colar aqui sem alterar nada se tiver que alterar eu vou informar se tiver alguma coisa mais para fazer eu vou falar ó esse aqui

cada um coloca seu nome Entendi então só copia colar Ô Patrick e o exemplo que você citou aí Eh você tirou o a função ali porcentagem SQL ele que manda rodar né porque se você não colocar essa essa função ele não roda né Executar o Notebook que você fala isso executar e você que executa ou você clica aqui para executar cada linha ó executar ou você executa tudo não eu entendi não mas eu falo assim se você não tiver esse comando aqui e porcentagem skq vai dar erro né é eu acabei de fazer Ó alguém

Acabou de perguntar isso você tirar ó tira aqui e executa para você ver ó aí ele vai est em Python E você tá executando SQL no compilador do Python ele não vai Funcionar Tá certo o meu deu erro acho que é por causa dos nomes das das pastas que eu tô mandando paraa Mariana aqui no WhatsApp Patrick eu digitei aqui a aí agora foi foi desculpa que eu tava respondendo o pessoal tá demorando para mandar no WhatsApp Aqui não relaxa eu fiquei com medo de você esquecer eu fui digitando enquanto Tava aparecendo aqui Na tela

tranquilo deu certo já beleza Eh Beleza então pessoal todo mundo Conseguiu chegar aqui Bel executou e foi tudo certo certo beleza tá tem que dar o okin aqui tá vamos vamos ver agora deixa deixa aqui vamos lá em catálogo todo mundo pode clicar aqui em catálogo e ver se vai aparecer aqui o banco de dados Então tem que tá aqui ó bronze Gold e Silver se não tiver a gente já sabe que deu alguma coisa errada É só uma outra dúvida como agora tem quatro catálogos o ideal seria antes do por exemplo do Bronze colocar

um identificador por exemplo como tá trabalhando com a empresa com projeto na Peve o Legal seria uma boa prática porque eventualmente Você pode ter vários outos projetos juntos né você fala mudar o nome aqui de isso não não é na hora de criar por exemplo que eu vi que você não você poderia ter outro catálogo Ah tá entendi ah essão aqui a Gente tem o Database ó ó o Database são diferente e tá dentro de um catálogo Ah mas eu tô trabalhando em tem empresa outro catálogo não tem sentido você usar o mesmo catálogo de

dados né Não beleza organiza os bancos de dados do metastore ele organiza aqui dentro você pode est do mesmo M Store mas ter vários catálogos de dado aqui é o é o free né esse datab common você só vai conseguir acessar esse Mas você também troca o nome do catálogo aqui a gente não aqui a Gente não tem esse acesso esse catálogo ele tem algum vínculo com cluster ou então se eu pagar meu cluster pagou ele tá sendo criado lá no no cluster apagou seu cluster você perdeu tá entendi então imagina que Ah eu quero

fazer de novo aqui amanhã vai fechar seu cluster né você vai ter que recriar o cluster e vai ter que vi criar esse cara aqui você teria que rodar essa célula de novo depois de criado Então se A gente criar num isso a gente tá falando de databits community tá se a gente você tiver usando o ambiente de produção isso aqui é ambiente de comunidade de de fazer brincadeira de fazer teste então no ambiente produtivo você cria um cluster e ele não se perde ele fica lá aí é só se religar eu vou entrar aqui

aqui em computador ó vai ver que eu tenho out outros clusters aqui ligado ó eu tinha um Aqui emprega dados teste TRS se eu dar um ok Um Ligar ó não for possível ligar o cluster ele não me deixa se eu perdi acabou Depois que ele desliga já era agora no ambiente produtivo né no ambiente na sua empresa vai ter diversos cluster aqui viu mas nesse perdão eh mas no community mesmo se eu não conseguir ligar Eu ainda vejo o histórico do que eu fiz não não ah eu per não aqui de Database você perde

o seus Notebooks não Os notebooks tambm Ah tá Ah não então beleza porque às vezes a gente cria um código ali daí quer replicar ele ele mantém não não ele mantém ele mantém o tudo que tá dentro do dbfs ele vai manter ele vai perder esse banco de dados que ele tá aqui com relação ao cluster cluster vai cair ele vai ele vai cair Ô Patrick uma dúvida assim no cluster porque teve um outro lugar que eu vi que ele falava para fazer um clone do cluster que desativou eu não entendi Muito bem o que

que seria esse Clone lá no cluster lá isso aí você se quiser aqui é só vir aqui ó clonar o cluster e você cria ele de novo você clona esse último seu só que você vai perder tudo do mesmo jeito independente do que você for fazer Ah entendi você vai clonar essas configurações aqui mesma coisa de clicar em criar ah táa 2 segundos para fazer isso eu vou sempre criando aqui é que não sei porque não tá aparecendo o histórico mas eu vou Sempre clonando e mudando aqui tá vendo que tá teste três quer dizer

que já é o terceiro que eu criei aí eu vou trocando sempre o último aqui então se eu fosse um eu ia clonar por bev do aí bev TR qu CCO E por aí ia para ser mais mais rápido mas pode ser qualquer coisa aqui como é só para fazer um teste Então beleza né todo mundo chegou aqui em computação tá tudo certo né Todo mundo tá com os catálogos de de dados aqui bronze Gold Silver aqui eu Verê se Para todo mundo o meu não deu certo não ô ô Patri acho que é por

causa dos dos caminhos aqui né dos nome que você colocou aqui né hum aí o seu tá ali onde tá em vermelho né eu não coloquei com esses mesmos nomes aí o meu deu erro mas pode seguir aí que para não atrapalhar vocês eu vou eu tô corrigindo os nomes aqui fav então tá fazendo sentido você tá falando independente do caminho ele vai criar não mas o meu não criou ele mudou ele mudou no comando lá do do cate Ah aqui talvez aconteceu comigo eh porque quando você tem na primeira linha lá do Create você

tem que mudar o nome lá ó Spark catalogo P bronze eu tava criando de Eu tava mudando só o caminho embaixo esquecendo de criar ponto bronze ponto Silver E aí não tava criando talvez pode ser isso é meu Aconteceu isso também mas não era para mudar é vocês estão sendo muito vocês quer est muito vocês estão muito acelerado eu mandei o arquivo só copiar e colar tava Aqui ó eu quer é que o comando é praticamente o mesmo pô Eu só mudei a palavra só que eu esqueci de mudar a palavra lá de cima eu

fiz a mesma cois ae sobr escreveu é el sobr escreveu aí depois você cria os três comandos e roda tudo de novo acho que dá tudo certo então é só pegar ele copiar e colar do jeito que tá aqui ó copia e cola do jeito que tá exatamente do jeito que eu mandei aí tinha mandado até um aqui para de novo Para testar vou excluir qual o resultado esperado aí ô Patrick disso daí tem que tá essas pastinhas aí na base criar esse tem que criar esses bancos de dados aqui no catálogo ó bronze Ah

tá bom Gold e Silver beleza vamos vamos voltar aqui então a parte de configurações aqui nossa já está certa Então vamos começar agora criar o nosso código de verdade então vamos lá paraa nossa camada bronze novamente ó cliquei na Pastinha da da camada bronze você pode vir aqui ó dentro da bronze e criar um notebook depois criar pode vir aqui na pasta e olhar para ver se tá dentro da bronze mesmo Ó mas se criar no lugar errado depois é só mover tá ele move também tem como você ó tem um movero aqui você consegue

jogar na pasta certa não não é muito problema não eu já vou trocar o nome aqui é essa bronze vai ser de Estabelecimento isso é dentro da da pasta bronze né isso dentro da bronze ó tem um botãozinho para voltar aqui se você perder á para você voltar se ir olhando no catálogo como tá clique em bronze beleza né a gente vai começar a fazer os nossos o meu não tá assim não Patrick acho que eu fiz alguma coisa errada não tem bronze não tem a tabela bronze mas eu não consigo clicar para criar uma

tabela Uma tabela agora vamos lá vamos fazer do zero de novo ó vamos lá workspace ó dados igual foi igualzinho do configuração exato a mesma coisa bronze aí você pode vir aqui criar pode clicar com o botão direito aqui pode clicar aqui em cima e criar uma pasta clicar em qualquer lugar é um sistema de arquivo normal P só tem que tá dentro da pasta são pastas Então esquece do datt Brick Imagina se fosse dentro do Windows Você dá dois cliques numa pasta Entra lá e cria uma outra pasta todos vão ser assim tá na

Silver vai ser a mesma coisa olha vamos até criar um notebook lá dentro da Silver para ficar mais fácil ó já entra lá clicar aqui ó aqui minha notebook quase crii uma pasta criando dentro da Silver agora escrever só Silver depois a gente altera aqui ó Silvera Beleza então como é o sistema de p a Gente pode voltar por aqui mesmo ó ó se eu entrar na Silver agora tem aqui meu notebook um caderninho de anotações que acontece você vai criar uma pasta cria vai criar um notebook cria uma pasta acontece dentro de Gold Aí

talvez você perdeu quando eu fui criar a primeira vez eu criei aqui ó tava dentro da Gold aí eu cliquei aqui nos três pontinhos tenho criar pasta criar o notebook aqui dentro vou criar aqui também Gold Pronto agora Ten o notebook cada fá Então se perdeu Nossa não sei mais onde eu tô volta de novo volta lá ó espao de trabalho workplace workspace anev e vai a gente tá falando o que da bronze tá aqui Opa já Ten o meu notebook aqui bronze estabelecimento beleza estamos aqui que que a a gente vai fazer agora a

gente tem os dois arquivos né vou mandar para vocês os dois Arquivos que a gente vai fazer em gestão aí a gente achou ali ó que é o estabelecimento e pedidos sei por eu não tô conseguindo mandar aqui tá Vou mandar pelo pelo WhatsApp aí para todo mundo ó são dois arquivos csv pedidos e estabelecimentos é só pegar eles esses dois e salvar no em qualquer lugar no seu computador que a gente vai puxar eles para dentro do dbfs Agora ô Patrick você falou que mandou no WhatsApp você mandou aonde eu mandei no lá no

grupo de mentoria 2.0 Será que alguém não tá tá sem acesso eu acho que eu não tenho esse grupo é o grupo de projetos monitoria 2 Patrick e eu já tô usando o navegador se você quiser mandar direto no chat eu acho que para mim já tá atualizando normal era porque eu tava no aplicativo mesmo Ah beleza mas acho que tá perto bloqueado Quem que falou que não tá no Grupo por favor O Armando beleza e Patrick no no com ele permite eu compartilhar por exemplo o notebook alguma coisa que eu fiz para outra pessoa

poder visualizar você consegue você consegue exportar ele é ele é bem travado a gente não sei se agora ele tem publicar não sei se isso aqui e deixa eu ver você pode publicar Ess notebook ação substituir qualquer versão do Notebook qualquer pessoa com link pode acessar o notebook ó lá agora dá o link fica Válido por se meses bacana bacana Beleza então né agora acho que o Armando tá aí no grupo todo mundo conseguiu acessar exceto Armando ali não não consegu ainda mas todo mundo fora Ele deu certo eu consegui pegar o os arquivos Ah

você conseguiu ah a Bianca me mandou Ah te mandou no particular beleza mandar de novo então tudo certo bora então fechou Todo mundo tá com com os arquivos vamos lá vamos lá no nosso catálogo de dados Tá e agora a gente vem aqui no dbfs ó por isso que a gente ativou que ele não vem por padrão aqui então a gente vai vir aqui FS vai ter para você aí ó Fire Store temporário temp user clica aí em Fire Store para ver o que que aparece aqui acho que não vai ter nada aí deve ter

esta tables Aqui deve aparecer só tables exato Beleza então aqui ó em file Store todo mundo é só clicar em upload Fala Henrique Ô Patrick aqui só tem o file Store e o user não tem o temp temp nem temporado verdade tá não faz mal você não salvou nada ainda T do file Store Tá bom é só clicar aqui em upload todo mundo eu preciso estar em table não você precisa clicar em upload só aqui ó Tá bom só upload ele tem que abrir aqui aí vai tá barra Filestore e agora todo mundo presta atenção

ó vai escrever aqui ó un pev escrevam a mesma coisa se não vai dar o cada um escreve uma coisa aí depois não lembra então escreve faz exatamente coisa ó Amp beleza que a gente vai criar uma pasta aqui dentro do F Store escrito Patrick pode falar eu tenho uma dúvida quando a gente trabalhando com esse dbfs na Cloud isso fica armazenado Na Cloud ou no databricks e se no databrick qual o limite armazenado da Cloud não sei se tem limite de arquivo eu nunca vi um limite então eu posso jogar quantos gigas eu quiser

para dentro desse bfs aí você pode tentar tá beleza Não sei se tem um limite ó sei se ele fala eu acho que não tenha Mas fica na Cloud você paga Cloud esses arquiv não aqui você não paga não paga paga licenciamento é por qu então aí do databrick aqui a gente tá usando uma Versão de comunidade uma versão para testar Pat ele libera isso exatamente a ideia do datab é exatamente essa ó eu tô dando um treinamento para quantas pessoas 43 pessoas aqui 43 pessoas talvez não iriam usar datab e agora eu tô evangelizando

a ferramenta Essa é a ideia por isso que eles deixam de graça para você usar quando você chegar na empresa você vai falar ó já sei como resolver esse problema com databricks essa é a intenção do Community dessas ferramentas Por que é de graça fazer map também né fazer uma po você pode usar aqui você vai ver que aqui não é um ambiente produtivo né você deveria você ia criar lá dentro de uma cloud no a dat Breaks E aí você já tem mais opções tem or flows Então beleza todo mundo aqui ampf é só

clicar aqui ó ó tem arrastar aqui vou clicar eu vou clicar e vou lá no Arquivo onde cada um salvou num lugar na sua pasta né vai na na pasta que você salvou o arquivo que eu mandei no WhatsApp o meu tá aqui ó só selecionar só um minuto você colocou lá Amp barra de novo e subi o arquivo não coloquei nada eu só coloquei Amp perfeito perfeito nada só Amp ó e carrega os arquivos aqui então faz um por um tudo isso que a gente tá fazendo tá dentro daquele cluster Não é isso não

Isso aqui tá dentro do dbfs isso aqui não tem a ver com o cluster tanto é que quando quando o cluster sumir você vai ficar com seus arquivos aqui ainda perfeito e esse armazenamento não é cobrado no caso não você não coloca cartão nenhum né Aí você já sabe que não é cobrado senão você não estaria fosse na você já não conseguiria nem abrir é no no S3 também da da WS também não então no dia a dia a a camada R pode ser feita sempre no né dat que não vai Cobrar a não tem

limite de armazenamento não é isso no community Ah tá a tá usando dat community o datab normal você vai ter que salvar lugar você vai querer salvar num lugar seu né que você não perca Então você vai salvar em algum contêiner da sua empresa que tem alguma recuperação alguma replicação em lugares diferentes para você evitar que você não perga esse dado que tem a proteção segur Exato exatamente aqui não tem produção nenhuma né é beleza carregou pode dar concluir pode dar concluir ele vai abrir uma pastinha aqui ó de vocês escrit pev e vai ter

os dois itens aqui consegue repetir esse passo aí de de carregar que eu perdi aqui quem que perdeu Sandro Ô Sand DBF escreveu e clicou aqui para pegar o seu arquivo Vai Store escreve aqui Amp dessa forma que tá aqui ó a maiúsculo e clica aqui ó aí você pega o arquivo onde Você salvou ele Ok entendi acho que se selecionar os dois de uma vez ele dá D vai ter que pegar um de cada vez se os dois carregar aqui tem que ficar os dois verdin aqui a mas isso aí tá mas isso é

dentro da camada bronze é ou não é dentro do catálogo é dentro do Catálogo catálogo É tem que clicar a dbfs ali em cima acho que você caiu aí o Sandra Mas ó catálogo É eu caí aqui entra em catálogo aí entra aqui em dbfs dbfs clicou Pronto já vai tá em file Store aqui é só vir aqui oad aí tem que aparecer isso aqui ó barraf Store aqui você escreve oev Deixa eu olhar aqui Catálogo D é só clicar carregar então de todo mundo tem que tá aqui ó vai ter a pasta Amp você

vai ter dois itens escrito csv aqui dentro tela de todo mundo aí tá assim Amp e os dois csvs não foi no meu caso não conseguir não criou a pasta criar P também aqui ficou na raiz Faz de novo pode fazer de novo deixar onde foi Provavelmente você não você não deve Ter escrito aqui ou se perdeu escreve UNP aqui de novo clica aqui fora escreve aqui UNP clica aqui essa parte branca o meu pessoal quando clii hein Ô Patri o meu quando eu cliquei em eu tive que clicar em selecionar aí ele criou uma

pastinha daev depois que eu fiz o upload O meu foi dessa forma pode ser o meu só coloquei aqui eu sempre coloco aqui e já entro só dá cli aqui fora Talvez ele não pegou por algum motivo Opa ag você clicar selecionar Também vai ó ó o c aqui dá ideia selecionar e já criou a pasta ok Não não deu certo pode arrastar para cá Beleza o meu deu certo não você quer compartilhar aí quem falou que não deu certo meu não tá dando certo compartilha sua tela por favor pra gente poder ver como é

que lado do sair ali tem um compartilhar conseguiu compartilhar tá ouvindo a gente tô tô ouvindo você Consegue compartilhar a tela tô tentando aqui ah janela Qual que é a dificuldade tá aqui ó clicar em compartilhar aí depois você seleciona a janela tá isso mostra aí pra gente ó aqui Clica ali em file Store F Store isso o load ó no aqui dentro el só clicar em só clicar em upload ali dentro ali isso pronto escreve unev aí beleza clica clica fora primeiro que já ficou Azulzinho Ó tem alguma coisa errada é isso não vaier

tira o apaga o v e escreve o v de novo J aí escreve de novo isso agora vai lá e clica procura os arquivos ali não não procura os arquivos scion pode ser podia clicar no meio ali não você tá volta dá cancelar aí dá cancelar cancela o botão cancelado Isso vai lá o pad de novo pelad isso aí escreve Eve Aí clica uma vez ali fora só para pegar agora Clic tá vendo um quadro embaixo escrito arquivo ó arrasta aqui para carregar os arquivos pouco para baixo clica aí clica isso aí os arquivos que

eu agora você seleciona o arquivo deve ter aberto em outra tela sua aí o negócio é tão intuitivo que é difícil juro eu salvei TR aqui agora não tá aqui É aqueles dois arquivos que você mandou salvei aqui agorinha isso isso salva de novo então é bom sempre salvar na área de trabalho né que fica mais fácil Pois é aqui ó ele trabalha a gente não tá vendo essa outra tela sua não acho que você salvou ó você compartilhou só o o Google al Mas vai lá então no vai novamente lá na no WhatsApp e

salva de novo e na sua na sua áa de trabalho foi foi agora de novo Ou fora aí aqui de trabalho tem ordem ou ou não não não então foi um estabelecimento só pegar o outro ali quem fez duas vezes acabou fazendo uma a mais não faz mal ele muda o o nome ali a gente só não vai usar o segundo dá o dá o concluir concluir isso Amp aí ó todo mundo tem que tá igual a tela do de CL ó vou roubar a tela aqui de novo agora foi mal Aí bora parte então

estamos aqui agora então vamos voltar lá pro nosso notebook lá para ninguém perder ó espaço de trabalho workspace lá dentro do seu projeto bronze e já tem aqui ó estabelecimento que a gente vai fazer agora Vamos né primeiro a gente vai salvar Algumas variáveis aqui vamos criar lá Database Vamos criar esses dois caras aqui ó vamos criar umas variáveis pra gente poder usar lá na frente a gente vai criar uma variável de Database que a gente já sabe que é bron Gold e a gente vai criar o nome da tabela já aqui então trazer para

cá então lá Database é igual ah a gente tá falando o quê da bronze né Pronto bronze a gente vai criar aqui também tabela é igual Vamos criar o nome da nossa tabela que é isso pode falar você consegue dar só um um pouco de zoom na ali na toop isso melhora Obrigada melhorou de nada ali pode ser aspas simples ou sempre aspas dupla pode ser simples também mas geralmente quando tá seguindo um você tá vendo alguém fazer Faz igual a pessoa tá fazendo eu já Fi tant de Evento que eu ia fazendo do meu

jeito ali por já conhecer aí só ia Depois tinha que me virar PR alcançar o a pessoa ali dar um exemplo semana passada eu estava no no evento lá da do eer summit aí a pessoa começou a fazer tudo com ali com em português e eu falei eu só uso inglês vou fazer inglês chegou no momento que eu não conseguir achar as aplicações que ele abria é que o nosso é bem simples A gente não tá usando só aplicação dat Breaks né lá ele abriu uma Chava uma coisa simples eu colocava em inglês não aparecia

Pou moment tanto que eu sofri eu fui lá e Pis em português também beleza aqui a gente só tá pegando salvando esse nome dentro de uma variável é normal igual eu coloquei ali podia ser Patrick aqui mas a gente vai colocar bronze tabela estabelecimento a gente vai criar isso para todos tá então isso aqui tá Vou colocar Aqui ó nome sempre que eu ponho aqui a gente tá falando em Python né se eu ponho um no jogo da velha é um comentário só que vocês não precisam escrever tá sempre colocar um comentário é para só

para vocês entender aqui nome do Database então não perde tempo com esse cara depois eu vou mandar o script original vocês podem pegar lá e aqui também eu vou colocar o caminho que é o Caminho do arquivo Então vou criar variável que chama caminho do arquivo tá e ela tem que receber o caminho do arquivo Qual que é o caminho do arquivo estabelecimento Alguém sabe como que a gente pega o caminho do do arquivo do estabelecimento bar Barra Barra esclarecimento É isso aí é esse o caminho mas como que a gente vai pegar mais fácil

abre outra página para vocês Não sair daqui tá f aqui catálogo no catálogo n em catálogo a gente né Pode deixar pode deixar aqui mesmo pode deixar aqui mesmo vocês clica aqui ó em data Bricks com com o botão direito aqui abre uma nova página para vocês não saírem daqui aí vocês vão lá em catálogo lá onde a gente salvou arquivo dbfs dbfs Store unev unev tá aqui ó estabelecimento você clica aqui ó caminho copiar caminho aí vocês vão pegar o primeiro nome Acho que eu não sei nem se tem diferença mas é o primeiro

aqui da da api do Spark copiar copiou você volta lá no seu notebook já tá aqui e colera pronto a feito só rodar essa célula aqui ó ele vai pedir para ligar no pegar um CL el tá tá conectado conectou ó rodou tá aqui o arquivo tá finalizado que mostra desculpa mostra novo o caminho que eu tive comando um Teclado aqui ti que trocar as pilhas aqui que acabou como é que você fez aí vamos lá abre outra página para não sair daqui Abre uma outra página aqui em dat Breaks é o catálogo que a

gente tinha acabado de fazer ó Cat dbfs file Store Uhum anev E tá aqui os dois arquivos que a gente selecionou certo só vir aqui nesse arquivo copiar Caminho Ah beleza eu podia digitar também se fosse bom de memória era só digitar o caminho eu sou ruim de memória eu tenho que vir copiar então copiar aqui ó estabelecimento pcsv volta lá e cola dentro então a gente salvou isso dentro das variáveis né Se eu colocar aqui Database na outra linha e rodar ele vai me mostrar o que que é Database ó bronze Se eu colocar

caminho do arquivo executar ele vai mostrar o caminho do Arquivo beleza até aí todo mundo tá aqui é só vi mais código tá e a gente agora vai carregar esse arquivo para dentro de um Data Frame dataframe nada mais é do que uma variável onde você vai armazenar a tabela Então você vai armazenar esses esses caras aqui dentro de uma dentro de uma variável que a gente chama de Data Frame vou mandar aqui no chat todo mundo agora tá com acesso o Código é só copiar esse código aí e colar aqui ó daí eu colei

também aí eu vou explicar ele aqui para para vocês então aqui que que eu vou fazer eu vou jogar isso tudo depois do igual ó igual sempre ele recebe alguma coisa né ô Patrick S só te fazer uma pergunta eu tô vendo aqui o código você colocou ele em P Spark se eu colocasse ele em Python ex em pandas pandas por exemplo eu tinha que importar a biblioteca antes por Exemplo vai vai precisar Ah tá faz um importe Ah tá entendi vai precisar a gente vai precisar dasas bibliotecas aqui eu pulei mas a gente vai

importar as bibliotecas aqui também eu vou voltar aqui ainda a gente vai usar precisar pegar data ali a gente vai importar também então beleza que que esse cara faz então o DF que pode ser aqui lembra que é qualquer nome então podia ser eu vou começar aqui ó vocês podem deixar DF Tá eu vou P Aqui Patrick então o que que vai essa esse Data Frame aqui vai receber a gente tá chamando o Spark tá o Spark que ele vai fazer ele vai dar um read csv que é o formato do nosso arquivo quando a

gente pegou o arquivo lá ele é o qu ó pon csv certo p csv E aí eu tenho uma opção aqui ó que é header iG true por qu isso aqui e porque aquele arquivo Nossa a primeira linha dele é um cabeçalho Então se a gente Abrir aquele csv vou abrir aqui ó ssv dá para abrir então se você for ver aqui ó compartilhar que que ele é aqui a gente tá vendo esse estabelecimento a tem botiquim do Chico aí tem o e-mail tem um telefone tá vendo tudo se repete aqui é uma livraria Pet

Shop e tudo só que olha a primeira linha a primeira linha é uma coisa diferente não é item é local que é o estabelecimento tem o e-mail depois vem o e-mail Então aqui tem o título de Cada linha então o que que a gente tá falando ali para ele Ó a primeira linha você coloca como título Então esse cara aqui ó header e go through então ah mas eu tenho dúvida de como ler um arquivo para Era só colocar par aqui ah mas eu tenho tenho outra dúvida de outro arquivo Google como ler arquivo parqu

senta lá na site vai ter como como ler então nosso csv eu tô falando ó primeira linha é um cabeçalho tá beleza É e eu tô carregando Da onde de que local lá do caminha arquivo que é esse cara aqui ó ah eu podia trocar isso por esse nome pode já trocar aqui por esse nome Ó olha como que já fica você vai deixando o código gigante por isso que a gente vai usando variáveis aqui então o que que ele vai fazer o Spark vai ativar ele vai lá nesse caminho e vai tentar trazer o

arquivo e salvar aqui dentro de Patrick Então vamos ver se ele vai se ele vai vai dar um erro aqui vocês podem Rodar também aqui como como DF Então beleza ó criou deu certo se você clicar aqui no de vocês ó você já vai ver que ele já criou um dataframe ó tem um local um e-mail estabelecimento id e telefone ó isso aí André por que que a gente usa a a variável também que imagina o seu notebook com a gente tá abrindo aqui um notebook com quatro quatro comandos vai ser pequenininho imag imagina um

notebook desse com 500 Comandos notebook gigante E aí ele é usado esse esse caminho em diversos lugares você ia ter que pegar e ir alterando o lugar por lugar ou dar um substituir em tudo aqui que podia substituir em lugar diferente agora não você você sempre deixa no começo do arquivo que você entra aqui e fala agora virou estabelecimento o arquivo mudaram lá Pronto é só você alterar isso salvar e já tá funcionando você não precisa Entrar código por código e verificar quando você esquece um então por isso que a gente usa as variáveis aqui

no começo então beleza A gente a gente leu já sabe que que tem local e--mail será que eu consigo ver isso agora então vocês vão jogar vou deixar aqui DF igual vocês você entender que podia ser qualquer palavra ali mas eu vou deixar só DF Então beleza vamos colocar aqui DF e ver o que que ele fala ó ele fala DF é um Data Frame e ele tem coluna Local que é streaming um e-mail um estabelecimento que é string também um telefone que é stream dá para ver como tabela dá Então a gente tem um

comando que chama ponto display o p show também né ô show a gente vai ver aqui como dataframe ponto display Pronto agora você tá você viu sua tabela aqui ó oh interessante Então todo mundo vai ver a tabela ó ó tem o local tem bar aqui tem O e-mail do lugar deixa eu ver ó Pizzaria Bela tem o contato Tem tudo aqui a gente já viu a gente já criou aqui você tá indo dentro do dataframe e tá mostrando que tá dentro desse DF aqui ó o DF ele você não consegue alterar fazer alterações nele

você consegue sobrescrever então ele tem uma tabela aqui certo ó aqui que eu vou fazer aqui ó Então vou pôr ó DF é igual a vamos pôr aqui ó B e vou executar foi só que agora se eu dar um display no DF Acabou já era porque ele não tem mais a tabela agora ele tem uma string lá dentro ó ele tá com o Paco lá dentro você perdeu então você não consegue vir aqui alterar alguma coisa que tá aqui dentro Mas você consegue regravar Então você regrava a gente perdeu Ah mas tá aqui ainda

Que isso aqui é um histórico Né que eu executei um minuto atrás se eu executar de novo você vai ver que ele não vai aparecer mais ó se perdeu tá Ah mas e agora que que eu faço perdi tudo é só seir lá e executar de novo então vamos lá executa de novo vou regravar vou jogar a leitura lá do arquivo dentro do DF e agora a gente tem Patrick falá uma dúvida e quando essa tabela ela não tem tem 50 linhas né ã esse esse dataframe ele tá usando Aqueles 15 GB de memória ou

ele tá sendo armazenado como arquivo aqui o que ele tá fazendo é para processar o dado ele usa aqueles 15 aquilo tá dentro do cluster o cluster de processamento então quando eu clico aqui ó tá vendo que Ele carrega esse tempo aqui de espera ele tá usando o Cler lá para processar como é 50 linhas é bem rápido é bem rápido se a gente tivesse 1 milhão de linhas ele ia demorar um pouquinho a mais mas o dat Bricks ele já é mais rápido beleza Obrigado então você vai ter até os 15 ali e o

dat braks que acontece né quando você tá no ambiente já é um pouco mais avançado Mas como você tá num ambiente maior ele tem aqueles 15 GB e ele ele não dá erro se ele alcançar os 15 gbas igual dava no banco tradicional ali você recebia aquele erro out of Memory lá que era fal de memória ele não que que ele faz ele o databricks ele processa em memória então ele processa tudo em memória por isso que ele é mais rápido Que o por exemplo que o rup que processa em disco então ele chega a

ser 100 vezes mais rápido por isso então ele processa em memória quando ele bate aqueles 15 o que que ele faz ele vai lá provisiona um disco Premium e processa o que deu o o que faltou ali dos 5 GB nesse nesse disco e depois traz de novo pro ambiente a coisa mais avançada que chama spill espirro de dados e traz então beleza Patrick uma pergunta quando você carregou a tabela no no Dataframe ele carregou todas as colunas como string né isso aí por exemplo estabelecimento id não seria uma string eu não sei se assim

por exemplo para ajustar para ficar com o tipo certinho sabe acho que ele ele ele deduziu do arquivo né is mas não sei se a gente poderia mudar esse tipo de dado ali você acha que pode é que se é texto né talvez seja por isso é tudo texto O que não mas vamos lá que que a gente O que que a gente entende da Bronze armazena os dados exatamente como são recebidos sem transformação a gente não altera dado da bronze você tá correto pô estabelecimento não seria um ID Mas a gente não mexe em

bronze então ele serve como uma f de referência a gente não vai mexer aqui agora quando a gente for para uma outra camada a a gente vai trabalhar nesse cara beleza show bo Boa pergunta eu queria tirar uma dúvida e Por exemplo no pandas quando a gente faz a importação do csv ele faz a diferença de tipo automática então assim eu tenho uma coluna lá que é um CPF Ele lê como um int aí ele perde dados e por isso na camada bronze eu procuro fazer a leitura de todos os campos como string para ter

essa para não perder esses dados no Spark tem algum comando parecido essa prática tá correta eu queria validar isso contigo ah você viu que já não ele já não trouxe né Ele Trouxe tudo em string aqui o ideal é você trazer tudo em string sempre traz tudo em string você garante que vai vir tudo quanto é coisa ali e aí você não vai ter problema de perder datado lá na frente pode ser que você tenha algum problema na hora de salvar uma coluna por exemplo que pode acontecer dar um problema a coluna vim com assento

aí você vai ter que tratar senão você não vai conseguir salvar lá na frente mas coisa específica não com relação ao dado Mas coluna você não tá perdendo o dado em si que não pode você vir aqui e tratar Algum cara aqui ah alguém pôs o nome o telefone errado aqui tá tudo num padrão né esses telefones aqui imagina que um cara pôs mais 5 c você não trata aqui aqui você leva tudo junto aqui a nossa camada de histórico a gente não vai alterar isso aqui obrigado Andri nada beleza então a gente já pegou

tá tudo dentro aqui desse Data Frame cara agora se a gente não pode fazer mais nada a gente não pode tratar o dado É só gravar né não tem mais o que fazer vamos vamos gravar esse dado porém é boas práticas a gente incluir eh coluna de controle aqui dentro dessa tabela por qu vai chegar lá na frente você não vai saber você vai olhar nessa tabela tem um dado ali de é esse dado quando ele foi carregado na tabela quando foi feita a ingestão desse dado quando eu rodei esse notebook você Não sabe então

a gente precisa criar uma coluna de controle que vai ter a data e a hora pra gente conseguir saber quando que foi executado esse dado Então vou jogar um comando para vocês aí ó pra gente criar duas colunas uma coluna de data e uma de de data e hora podia ser só de data a data hora podia també aí então aqui dentro para Spark a gente tá usando um if colum um if colum ele cria uma coluna lá dentro do Data Frame essa Coluna sempre entra por último Então o que que a gente tá fazendo

aqui ó o Data Frame que tem isso aqui dentro né ele vai receber quem o dataframe ele mesmo Ponto IFC Ah eu posso mudar o nome do dataframe a partir agora ser um dataframe eh com data pode não faz mal ser a gente vai usar a mesma coisa aqui que aí se fosse o dataframe com data ia ser Data Frame com data recebe quem vai receber o Data Frame porque é o cara Aqui o antigo e aí ele ia virar o com data vamos manter aqui tudo DF mesmo então vai receber aqui a coluna pode

pode rodar ô já deu um erro Então por quê eu tô usando numa função aqui que chama current Date o que que essa função faz ele pega o dia atual então ele vai lá no no banco de dados de hora e ele pega a hora de hoje e aqui ele também tem um current time stamp aqui ele pega só data né current date el pega só data o time Stamp ele dá um um carimbo da data naquele minuto Então traz hora traz tudo só que aqui eu tenho que trazer importar essas bibliotecas então alguém tinha

falado ali ó eu não vou eu não vou importar nada nenhuma função tal se fosse importar também o o o pandas seria aqui também geralmente importação a gente é a primeira coisa que a gente faz Só que geralmente Você Não Sabe O Que Você Vai importar lá quando você tá mexendo no código você identifica você Precisa criar uma função aí que você não tem ela então mandei no chat aíí a gente vai fazer essas importações aqui ó a gente vai pegar lá do function então ó from P Spark SQL function é uma é uma biblioteca

a gente vai pegar essas três funções current date time stamp e essa expressão aqui V falar por da expressão coloca lá em cima e aí executa tá É só colocar lá executar e a gente vai voltar aqui quando a gente executar Pode colocar esses três importes tudo na mesma célula né Patrick pode pode ó boas práticas aqui colocar aqui em cima né tudo junto mas ah tô com preguiça posso colocar aqui pode colocar também vai fazer mal você pode colocar Quando você vai chamar legal só que mais uma coisa né lembra da manutenção então quando

você for fazer manutenção Imagina você importando coluna durante o texto inteiro 500 500 comandos desse A gente tá vendo uma coisa pequenininha então a gente usa todas as importações aqui imagina uma coisa de 500 você vai dar manutenção no notebook de 500 você vai pegar muitas vezes eh algumas funções que já foram chamadas no notebook em algum momento mas você nem sabe porque tá no meio você não vai passar 500 linhas Ali você vai lá onde você tem que dar manutenção dar manutenção e sai imagina se entender um código com 500 comandos desse aqui 500

Células dessa então beleza A gente executou já apareceu aqui né olha que legal aqui ele já trouxe ó data ele já trouxe como date e a data carga ele já trouxe como time stamp mas aqui Você concorda que não tem a ver com seu dado né aqui foi colunas que você incluiu aqui para teu controle faz mal então se eu imprimir o Data Frame agora pode ser também ó você pode colocar o display e o Data Frame dentro também ó D mesma coisa Só um outro modo ali tá a mesma coisa então tá aqui ó

tá todos seu dados normal local e-mail só que agora você tem um data carga e você tem o time stamp da Car ó tá aqui ó Qual o horário que a gente fez ele tá tá fazendo time stamp s p quem que deu eu o meu Qual que é o erro que tá dando Qual que é o nome do erro Ah não eu digitei errado pera aí Patri pode falar por que que a gente bota a coluna com data uma coluna time ST só não seria suficiente não pode ser mas talvez quando a tabela é

muito muito grande às vezes você quer usar essa coluna aqui para fazer particionamento entendi E aí você já tem ela já pronta aí você particiona ali por ano particionado de gestão né exatamente então pode ser é uma estratégia você precisa dessa coluna aqui de alguma Forma Já tá pronto aqui senão você ia ter que transformar essa né pegar tirar a hora aqui as datas para poder usar Patrick uma dúvida sobre o ppark essa função corr timestamp ele pega o fuso horário de onde tá sendo executado né mas eu é eu fico eu me pergunto como

o dat Breaks ele é uma uma ferramenta online e tal não faria mais sentido ele pegar por exemplo eh um UTC E aí ele pega ele pega o TC é porque ele tá mostrando a data agora tipo 11 e Pouquinho por isso que eu perguntei porque olha aqui ó ó o que que eu coloquei aqui ó Ah tá não tinha apressado verdade verdade verdade verade então você pode tirar a se você tirar esse cara Tira aqui o o menos TR Beleza e você vai ver que ele traz o TC eu não me tentei a isso

beleza valeu Pat Beleza Eu já pus aqui só pra gente ver que já traz no formato nosso né senão realmente que você falou depende onde já tá rodando mas ele traz como padrão Sempre O TC então para quem não para quem não entendeu o o Brasil aqui a região nossa né Tem alguns estados aqui que é até diferente Brasil é complicado mas a gente fica no UTC menos TRS então a gente tá 3 horas fora do horário mundial horário padrão Mundial então no Acre Então seria 5 horas porque o Acre é Du horas de diferença

exatamente por isso que eu falei que o Brasil é nem nisso a gente consegue padronizar o o Negócio então a maioria dos estados brasileiros são menos 3 horas mas tem horário de verão então também Brasil é difícil cara Brasil não é para amadores é tivesse horaro de verão ainda era 6 horas meio é que e quando você trabalha num time Global vai ter essas diferenças né então exato a gente deixa é melhor usar o TC Então você usa o que já o que o pessoal já tá geralmente já tá usando né então no data é

Nossa sempre dá essa confusão ali aí depois passou um tempo Eles liberaram para você poder pôr o seu o seu horário outra coisa é criar Trigger aí você fala assim eu quero que liga a sete só que o seu data Factor ele tá com o tc0 aí se você colocar 7 horas ele vai lá pega 3 horas para paraa frente Aí você tem que se ligar lá e colocar o os3 para dar o horário certo do do Brasil você saber que é 7 horas então Depende de onde é você fica às vezes Confuso com isso

mas na dúvida cara é mais fácil você usar o padrão e Você já sabe que tá menos TR e pronto e aí cada um sabe o seu fuso horário ali de aonde tá aqui a gente colocou os3 só pra gente ver que ó agora é 7:29 11:07 e ele traz aqui ó 11:7 minutos 29 segundos e tem até os centésimos aqui também então tá tudo aqui você tem realmente é time stamp é um carimbo do da hora então ele bum ele carimba ó Nessa hora que foi gravado tá aqui no no Minuto no segundo então

quando a gente bater esses dados fal assim ó a tabela não funcionou hoje parece que os dados estão desatualizados Será que rodou a bronze você dá uma olhada dá um select lá você consegue ver Opa rodou hoje às 11 horas ó rodou tá lá o dado a parte de engenharia tá certa aí você já joga a culpa no bi faz isso aí deve ser atualização do Power bi el Joga Pra Frente bora então estamos aqui com o nosso Data Frame agora vamos gravar Agora não tem mais vamos não tem mais desculpa então vamos gravar os

nossos dados vou jogar aí no chat para vocês o meu ainda continua dando um erro Qual que é o nome do erro fala pra gente qual que tá aparecendo aqui nome erro é bem na naquela outra de do DF lá do time stamp tá você colocou esse cara aqui e você executou Coloca essa essa essa parte aqui você executou isso aqui certo Executa e depois executa aqui de novo aí vai dar qual parte executa lá ou ó vou colocar aqui bem Bem Junto Aqui ó pode colocar aí o seu na ordem mesmo Ó você vai

executar esse cara aqui que você copiou exatamente assim executou esse aí eu executei executa aí de novo e agora executa aqui ó vai rodar pera aí se daí eu de novo você compartilha sua tela aí pra Gente deu erro de novo compartilha sua tela então Patrick aproveitando aí enquanto ele abre aí então esses controles ele é feito eles são feitos manualmente né Eh o próprio engenheiro que faz esses controles aí de datas né para controlar o o trabalho do dele durante a a rotina né É você vai colocar essas duas colunas aqui como padrão para

rodar mas não é manual né você vai incluir e depois ele vai rodar Sozinho certo existe existe log por exemplo por exemplo Ah eu não eu não Imagine que o cara ah não sabia que não que não precisava fazer isso existe log desses que a gente pode pegar que de das tabelas como tá sendo salvo tem a gente vai dar uma olhada no o delta ali ele salva o log Cadê o mostra ali aí tá falando que você não rodou aquele aquele comando que eu mandei vai lá onde que você executou ele aquele primeiro Comandinho

em cima ó você copiou ele errado tá voltando numa parte aí tá vendo lá no P no finalzinho você esqueceu do R só pôr lá onde tá põe um R na frente minúsculo executa de novo essa célula Beleza vai lá embaixo tem problema o nome da variável dele aí tá errado do Database aí ó se não tiver a variável ele não vai rodar ó lá olha olha para você ver aqu ele tirou Ali rapidinho mas você viu que ali mostrava exatamente onde tava o erro ele falava ó expr não existe e é que você tava

usando Ou seja você não declarou ele até falava ó não tá declarado então aí foi só um só um erro de esquece de copiar esqueci nome da sua variável lá do Database tá faltando um a não sei se isso vai dar problema depois depois eu quero a indicação da Ótica de vocês que vocês estão com a vista afiada hein É olho já olho Clínico para ele é É isso aí nossa caramba um scanner não um olho né Isso você só percebe quando você vai gravar já tem temang isso aí você só V quando você grava

você tá gravando não existe esse Database você fala cara como que não existe aí você vai lá agora deu certo Hoje essas ids elas estão bem evoluídas então antigamente dava uns erros que não Adiantava de nada para você né É só para você ficar lá ralando erro 403 Mas falar meu Deus é fácil também permissionamento mas você ralava agora às vezes ele mostra principalmente o dat Breaks Ele é bem inteligente ele mostra exatamente onde tá o problema al para você então mandei o novo código pra gente gravar a então o que que a gente vai

fazer a gente vai gravar esse cara no formato Delta Então esse comando Nossa eu Preciso copiar aqui só jogar no Google como gravar um dataframe ele vai te dar exatamente só entrar na documentação e pegar aqui eu já dei um um pronto para vocês é debugar é debugar C não sei bem como é que a gente pega CT de sei lá 8.000 linha 10.000 linha direto você até completa aí nunca funciona quando dá erro dá no meio aí você fica a vida inteira par você tem que pegar executar código por código por fora que não

você Não consegue debugar você at Até você achar ali o problema não tem ferramenta para debug tem o o engenheiro ali que joga tudo lá e vai fazendo uma a uma tem as ferramenta aí hoje tem tá fácil né Você pega ali você cola se for pequeno né O Tom miolinho é complicado mas você pega você vai você sempre sabe onde tá Ah o problema tá aqui nessa parte cola no chat de GPT e e joga o erro que ele acha para você é sempre uma variavel Zinha um negó mas como Aqui ninguém usa Chat

GPT né como ninguém aqui usa chat PT nem pode colocar os códigos da empresa no chat GPT exatamente vai ter que um por um mas vou ler a documentação né gente documentação a Ch de GPT ajuda a Ch de GPT ajuda mas não pra empresa não pode gente ajuda mas não faz milagre né é isso lá na empresa a gente tem o chat GPT teams lá que ele automaticamente exclui né para não usar pro treinamento só que daí se é verdade ou Não é outra história né o cara não tem como saber ah tem tem

tem umas empresas que estão bloqueando né Tem várias empresas aí que que eles bloquei você não consegue já de GPT mas tem vá várias outras maneiras de de burlar isso aí também mas fica para outra aula cular important a gente ter os ferramentas a é hoje em dia tem o novo chat de GPT e tem como ele ficar te acompanhando né ele fica assistindo você Debugando e aí quando dá erro Você já fala com ele ó e esse erro aí ele já sabe que ele já tá te acompanhando El já sabe quem viu GPT 4

ali na apresentação é exatamente isso próprio datt Brick ali né a versão paga tem o assistente é dat Brick tem o assistente aqui ó tá desativado para workspace aqui mas você consegue quando dá um erro quase pelo menos erro que dá para mim ele nunca ajuda porque mas erro de digitação errada você clica aqui ele fala ó deu Erro quer que eu te ajudo aí você clica ele já mostra para você onde tá o erro ah provavelmente sua variável tá errado já vou te gerar o código pronto vai te D para mim é estranho trabalhar

assim em forma de células assim cada pedacinho executar separadamente em vez de um bloco só não sei acho que é porque eu nunca trabalhei assim mas Data Frame aqui a gente podia colocar no bloco só também ah beleza então você posso fazer meu código todo num né debugar É tem Algumas coisas que não dá chamadas e chamad essa cham o que acontece o o o dat Breaks aqui o Spark ele tem um las evaluate H que que acontece ele só executa ele tem um cé por trás ele só executa quando é importante então tudo isso

que a gente fez até agora tirando o display display é uma chamada é uma execução Mas se a gente não tivesse display isso aqui não vai ter né no nosso código de verdade isso aqui não Existe a gente tava debugando essas coisas ele não executa ó ele só carrega Ele carregou e depis na memória carregou ele não tá executando nada disso que que ele vai fazendo ele vai só juntando e quando você dá um gatilho então o que que é um g é uma escrita é um Data Frame Então quando você clica aqui em Data

Frame ele vai Executar tudo que você rodou antes agora quando eu clicar aqui ele vai Executar tudo diante ó espera inoperante Você viu que Carregou agora ele usou Spark ó Job Spark ele carregou um Data Frame Então deixa eu fazer uma outra pergunta idiota eu vou ter alguma ferramenta de workflow tipo airflow para poder orquestrar tudo isso aí a execução orquestrar o esse notebook por exemplo carregar executar esse notebook bronze inteiro isso exatamente você vai ter Ah beleza entendi agora tá agora tá se desenhando na minha cabeça como é que o negócio funciona aí chega

esse cara dá um pulso E aí ele vem aqui executa tudo pum ele vai Executar a linha completa para você não é você não vai pegar linha a linha né Ah entendi Beleza agora entendi então aqui vai usar no nesse projeto ô Patrick ou a gente vai usar os workflow do do Brick não aqui a gente não vai usar nenum workflow a gente não tem aqui é só dentro do só dentro da atabak você qu entrar aqui Flow ó ele não tem que ó saiba mais faça o upgrade da assinatura do dat Break ele Não

tem então tinha que fazer ali na na es o orquestrador né para vir fazer essca mas vamos lá então então a gente tem aqui DF então primeira coisa que ele faz é escrita vou escrever então Wi primeiro ele vai salvar lá no formato Delta lá do Delta Lake que a gente conversou como override então ele vai sobrescrever sempre ele vai sobrescrever como o nosso dataset é Pequeno a gente vai só sobrescrever aqui em cima tá a gente não vai entrar na parte de apende essas coisas aqui ainda option merge esima então ele vai sempre Se

amanhã alguém vi aqui e colocar esse esse mesmo csv e colocar uma coluna nova aqui escrito sei lá é Instagram no caro como você tem um merge skima aqui você vai simplesmente incluir uma coluna nova ali dentro dos seus dados se você não tiver esse cara aqui tá se Imagina que você não tem esse comando aqui quando ele vim ele vai comparar na hora de gravar ele vai falar Opa tem quatro colunas aqui e eu tô querendo incluir um lugar que tem cinco Então quem já mexeu com banco trans só dá um ali ver e

ele vai bater e vai dar errado aí ele vai falar opa não não consigo tá com esquema diferente Aí você tinha que dropar a tabela e vi aqui criar como agora a gente tem o mer esima Ele simplesmente nesses dados pra frente ele Vai começar a fazer ingestão desse cara então faz super sentido ter aqui na nossa bronze né que é a camada que sempre tá tendo coisas novas já na Silver a gente vai selecionar o que a gente quer então a gente vai ter um select pegando exatamente as colunas que a gente quer lá

não vai não vai aparecer uma coluna nova E se aparecer tem Import porque a gente vai selecionar exatamente o que a gente quer beleza Então foi aqui override esima exatamente ele vai sobrescrever o esquema da tabela e a gente vai salvar onde a gente vai salvar essa tabela a gente vai salvar no Database P tabela lembra aqui Quem que é o Database tabela isso aqui são variáveis a gente Foz lá em cima Database bronze tabela estabelecimento então a tabela vai chamar bronze ponto estabelecimento Vamos tentar gravar ó vou até excluir aqui aqui esses DF aqui

Esses display que a gente foi testando não precisa e eu vou dar um executar aqui ó ó você viu que ele ele vai carregar ó ele já pulou tudo tá vendo o único lugar que ele vai carregar É esse o restante ele não executou nada ele pulou porque exatamente o Spark ele ele vai pulando as ações e ele executa só quando ele tem uma chamada Então se tivesse dado um display lá em cima igual a gente tinha ele ia parar rodar o display a ele ia continuar depois para Vir rodar aqui agora não ele pulou

tudo e tá rodando aqui agora aqui ele faz todo o trabalho que foi feito aqui de cima aqui ele começa a executar e aqui o que que ele tá fazendo ó ele tá separando ele tá criando vários Jobs e rodando a nossas atividades Ó Patrick esses jovens aí porque ele paraliza a carga exato ele tá executando vários Jobs ali e trazendo de um jeito que seja é mais rápido né distribuído Pra gente então aqui eu tinha colocado um print ó print é uma escrita né para quem não sabe você pode printar escrever alguma coisa aí

eu escrevi aqui dados gravados com sucesso só para eu saber a hora que tivesse terminado e aqui ele imprimiu para mim ó dados gravados com sucesso é para est finalizado Quem fez a pergunta aí pode pode falar eu não sei o que aconteceu Deu erro aqui na no código deu no código Qual que é o erro que tá aparecendo Compartilhar aqui spect iine continuation tá com alguém tá sem espaço on contra barra tenta aí para vocês não não foi tem espaço Depois dessa barra aí ó nesse true aí vê se não tem eu peguei um

erro D tem um espaço aí a mais ó po dentro ou fora não ah é depois depois da Barra depois da Barra lá no final tem um espaço apaga aí agora roda tá Agora no PR aí é indentação joga o PR pro início isso isso de novo Agora deu certo mais um programador morto por White Space aument o número Obrigado normal erro padrão do dia a dia né eu ia falar que falt ponto vírgula mas é aí piora né Tem dentação mais uma coisa tá Bom não pode reclamar de Python não então beleza gravos dados

pode falar e aqui o meu deu sete Jobs Spark o seu deu 10 Muda alguma coisa é isso Não ele só fez fois mais rodou e mais jovens aqui não faz mal tá bom a gente não vai a gente não vai debugar isso aqui a gente criou a tabela como que a gente sabe se criou agora vamos dar um select na tabela pode mudar aqui para PR skl já que agora criou realmente uma tabela no banco de dados vamos lá Select skl básico ali né bronze ponto estabelecimento ó ele até me até me ajudou aqui

ó se ele começar a te ajudar se daab ele preenche para você vamos dar um select aí ver se vai aparecer a tabela se tá realmente ó rodou agora a gente tem uma tabela agora é uma tabela lá a gente estava vendo um Data Frame né agora a gente tem uma tabela datab É tudo num só lugar tudo tudo junto né aí a gente tem uma tabela vamos ver agora abre uma outra uma outra página aí vamos ver se ela aparece lá no catálogo abre outro para vocês não saírem lá do notebook né vem no

catálogo aqui ó vê se ele criou vai lá dentro em de bronze e vê se ele criou a tabela lá lá dentro de bronze tem que tá a tabela aqui ó estabelecimento eu tinha feito primeiro Esse caminho aí Esqueci que também tem pol na nas células é você consegue ir lá é a gente faz programador a gente faz nql né aqui é pô fraco entrar aqui na na ideia mas eu sou programador preguiçoso eu sempre vou onde precisa P menos código lá eu sou desses aqui ó de clicar nas coisinha gosto de arrastar a caixinha

não não sou programador antigo aí então ve pessoal que começou era tudo Na unha Antigamente eu já vim mais da época mais preguiçoso não tinha ide qu comecei aprendo o suficiente para sobreviver para não depender é isso que eu sei de programação tá não já fiz algumas coisas né quando ficava no início ali só para hackear os joguinho que eu brincava ali com as coisinhas já fiz mas não era programação na época né eu não usava como programação usava é motivação diversão é é a motivação que precisa Tinha que ter exato Fala aí Mari eh

eu consigo mudar o nome dessa desses bancos de dados aí porque o meu ficou faltando um R aí tá dando erro pode de sem é só você mudar Só que você vai ter que mudar lá o comando ou você cria de novo e eu consigo excluir esse daí consegue Mas aí tem que passar uma linha de código ali agora você não vai conseguir só cria outro e deixa deixa ele aí você vai ter que usar um fechou Um RM ali para para excluir no seu caso é só esperar duas horas que ele vai ele vai

cancelar o cluster e vai perder tudo isso aqui justo você lembra lá onde vai só vir aqui é só no lá nas configurações né Uhum ó L workspace bom O pessoal já já lembra configurações quando a gente criou o banco Foi esse notebook Zinho aqui então provavelmente um nome aqui tá errado talvez bronze Silver é ficou faltando um Rí no bronze a deu erro é só criar de novo e vai dar certo Não beleza valeu Pat que hoje vai até meio-dia que você falou vai até meio-dia aí a gente vai combinar aí um um horário

aí pra gente continuar patrique depois pode copiar só aquelas coisas que o gor iria querer colocar no chat tava no slide lá Desculpa não entendi aquelas aquelas coisas que é quantidade de produto Isso aqui acho que A pergunta inicial pedi Ah eu vou S vou disponibilizar o slide completo tá ah tá beleza PR vocês aqui eu vou compartilhar tudo então beleza gravamos tá tudo certo né a gente viu aqui já tá com a tabela então Ó quem se você clicar aqui ó clica na na tabela não vamos fazer primeiro lá no nosso código ó a

gente consegue ver os detalhes dessa tabela então SQL a gente tem aqui um comando que é Describe detail E aí você joga o seu nome da tabela ele segue alguma linguagem específica orql alguma coisa assim ou é própria é o é o skl aqui eu acho que é o TSL que a gente usa aqui se eu não me engano skl padrão ali eu acho que é o t mesmo tem o limite né eu gravo pelo limite o top né É pelo limite então aqui ele deu alguma coisa ó scrab detta Por que que não rodou

Alguém sabe tem que Mudar isso aí ó aqui skl beleza aqui a gente tem Agora os detalhes da nossa tabela tabela tá no formato Delta tem o ID tem o catálogo que ela tá el não tem descrição nenhuma tem aonde foi salvo o arquivo lembra quando a gente ó Isso aqui é tá lembra aqui ó location que tá os dados a gente vai voltar nisso aí quando foi criado então ele tem um momento que foi criado a tabela aqui ó um time stamp completo partição a gente Não tem partição a gente não tem cluster tem

o tamanho da tabela e tudo mais agora olha que legal então ele tá falando que essa tabela tá aqui ó que que a gente precisa precisa ver porque quando a gente montou que que a tabela salva ele salva um arquivo certo a gente salva um arquivo parquê e não uma tabela e a tabela é uma View desse desse arquivo Aonde Tá salvo esse arquivo aqui ele tá te falando quando você dá um describe aonde ele Salvou user hive ó Warehouse dbfs Fire Store anev bronze estabelecimento vamos vamos ver se Será que realmente tá lá mesmo

vamos procurar lá no dat Bak a gente consegue ver então vamos lá ó ele tá aqui o meu tá aqui né não sei de você está Então pode só seguir aqui ó user hive wehouse onde depois dbfs F Store de novo então vamos Procurar aqui ó dbfs tem aqui dbfs file Store era esse que tava lá bronze estabelecimento e tá aqui o log do arquivo Parque isso mesmo ó Amp bronze estabelecimento e tá aqui todos os arquivos ISO aqui é parquê ó olha o nome dele pon Snap E ali a como ele tá compactado e

ponto parqu tá aqui o Arquivo beleza Samuel Então a gente tem ó arquivo Snap PR tá aqui de vocês provavelmente vai ter um porque eu já salvei outras vezes essa tabela aqui então quando a tabela não quer dizer que é um arquivo por tabela né então quando você dá um select o select vem nessa pasta aqui monta a tabela para você se você tivesse uma tabela talvez gigante você vai salvar uma tabela muito grande ele salva 300 arquivos aqui Beleza a nossa tabela tá aqui fala aí para chegar aí como é que você fez eu

perdi aqui você vai ter que seguir lá nem precisa vai perder tempo mas você vai senta lá no seu location e segue o location que tá aqui ó você vai entrar pasta por pasta que tá aqui lá do seu dfs vai chegar lá você pode definir um local você pode definir um local também você podia na hora de salvar você colocar um caminho aqui um pé salvar onde você quisesse você pode Fazer isso também desativa o skl desativa Como assim é o comando describe falhou aqui aqui ó aqui tem um botãozinho Ó seu data Python

aí ou você escreveu describe errado quando você colocar esl tem que ficar azul aqui ó que aí quer dizer que o comando Tá certo se você esquece um I aqui ó ele já perde o a palavra reservada aqui describe Ah tá você vai lá pega o location e joga lá no é você pode jogar ou você pode ir navegando até chegar no caminho ô ah Ficou muito longe queria ficar dentro do do air housee V per vou perder esse notebook aí depois ele vai nessa comunity não não né não ele vai ficar aí no seu

para sempre lembra aqui ó quando eu abri Olha o meu ó ó o tanto de notebook que eu tenho aqui ó é que eu crio lá dentro então o que que ele que que é temporário você apaga os Database ali ah o Database é que vai sumir depois é ó aqui o tanto de coisa que eu tenho aqui ó então tenho Ah Beleza tem 1 milhão Ó tem coisa de 2022 aqui dentro né que os Database são os maiores arquivos da fazer a limpeza né Lembra que você perde o Database não o o dbfs os

arquivos estão aqui dentro ainda esse arquivos que você gerou agora você vai perder o bronze Só que essa tabela aqui que você virou o arquivo ele vai ficar aqui ainda Ah tá bom esses arquivos vão ficar aqui ô ô Patrick eu vi que quando você mexe ali no no notebook você consegue ver a Tabelinha eh como que você faz para aparecer essa visualização qual tabela eh quando você tá no note eh eu tô no notbook agora onde Engraçado não cri tant pouquinho é que aí você você consegue Ahí aí ó essa visualização aí ah de

um select na tabela Ah você dá um Ah tá nossa é que eu fiz um teste para ver se a tabela tava lá isso aqui não tem no meu código né isso aqui não tem no meu código ó describe Não tem no meu código isso aqui só Tô mostrando para vocês o que tem nosso código acabou aqui ó esse é o nosso código poucas linhas eu achei que tinha algum botãozinho aí para poder mostrar a visualização não só D um select como é uma tabela se for um Data Frame você consegue ver um Data Frame

show Maravilha Beleza a gente fez uma bronze tá aqui tá salvo tá lá dentro da tabela tá tudo certo vamos para vamos criar outra Agora tá então o que que a gente vai fazer ó se clicar aqui ó tem seu espaço de trabalho ó quando você clica aqui você consegue ver aonde você tá Você tá em bronze tem estabelecimento elas são bem semelhantes não são eu só tenho que mudar o nome do arquivo e salvar lá dentro então vamos clonar esse notebook pra gente não precisar escrever tudo de novo então você vem aqui ó ó

todo mundo ó bronze estabelecimento tá aqui só Clicar aqui no botão Clone Pronto ele já vai tá falando tu vai clonar eu vou trocar o nome aqui né E aonde tá estabelecimento eu vou colocar pedidos aqui ó pedidos já vou clicar lembra de depois que você clonou Clique em pedidos garante que você tá aqui em pedidos ó você não alterar O original não que vai mudar muita coisa mas po alterar beleza todo mundo tá impedidos Aqui sim Maurício tá comão levant tem alguma dúvida Ah não só esqueci de baixar beleza então beleza estamos aqui fácil

cara vamos lá vai mudar Estabelecimento por pedidos né então só trocar onde tem Estabelecimento por pedidos olha só tem dois lugar Olha que bom Era pra gente procurar aqui onde tem tudas essas coisas pra gente alterar mas não vamos pegar aqui ó pedidos copia e cola Lá já começa a pegar isso de Copi e colar Por quê você escreve pedidos aqui escreve pedidos aqui sai um e aqui ó aí vai dar e lá embaixo ó vai sair pedidos aqui aí quando você tem que alterar ou você vem aqui ó e dá um Cadê o o

editar aqui ó localizar substituir e substituir aqui ó troca Estabelecimento por pedido dá substituir tudo é um um jeito também nesse caso eu dava até para usar como é igual pode usar var a tabela no caminho também né Podia nesse aonde que você fala pedidos PSV isso usar uma variável aqui dentro ele dá erro o cara na hora de trocar ele dá erro aqui na hora lá de trocar ele leva esse caminho com com a chave aqui ó entendi entendi ele D um erro talvez se entre aspas mas dizer que nunca vai ficar no caminho

exatamente aí vamos lá vamos dar executar aqui se você executar ele já Foi buscar sozinho o cluster tá vendo ó conexão automática com o cluster mas aqui vamos fazer diferente eh troca aqui trocou os nomes já dá um Executar tudo aqui ó vamos testar Nada vamos ver se dá certo D Executar tudo e vamos ver se vai dar certo se vai funcionar se não vai e já vamos começar D gravados tabela bem menor né select asterisco from PR P escrever esqueceu alguma coisa errada aí lá ó foi ó não tem como dar erro a gente

só trocar duas variáveis ou quem deu erro talvez escreveu o nome diferente aqui ó o meu deu erro na naquela questão ali de criar o controle das datas o nome não tava definido eu vou então isso aqui ó Você não copiou isso aqui não tá lá no seu notebook Ó é são importações Então quem deu erro lá nesse no comando da data é porque não importou esse cara ou esqueceu deixou alguma coisa Oi aqui também tá pronto vai dar o select aqui na sua tabelinha e vai ter os dados aqui também ó todos os dados

tudo pronto Ô Patrick pode falar Tem tem alguns bug pode acontecer no no código questão de rede alguma coisa assim não acho que não porque na hora que eu fui gravar os dados a primeira Vez que eu tentei gravar ele gravou apareceu as informações de gravação foi qu eu tentei rodar de novo ele começou a dar ele não tá aceitando mais dizendo que tem um algum algum símbolo que eu usei errado algum caractere errado sabe aí é provavelmente você bateu aí digitou alguma coisa deu um espaço usou um realmente caracter errado até revisei mas depois

depois a gente V copia de novo dá copiar de novo o código mas se gravou a primeira vez tá Tá bom ele até apareceu aquela tabela de estabelecimento só que depois eu não consegui fazer mais nada é que depois a gente pode pode ir pro próximo que já pode clonar ali por pedidos o meu consegui resolver aqui eu coloquei a importação na na sequência antes de de executar o outro comando aqui aí deu certo é provavelmente você não tinha executado aqui então porque aqui ele funciona Tá pode deixar em primeiro e Até boas prátic você

vai ver que todo notebook você pega as importações estão aqui beleza deu um select tá aqui a tabela Vamos dar um um describe lá para ver ó dá para Desk também ó para quem eu gosto de eu tenho preguiça então sempre quanto menos Desk e ta vai dar mesma coisa lá aqui sua tabela com tudo então ela vai est lá também onde a gente viu Agora eu vou ensinar vou mostrar um negócio aqui ó eh qu ver que legal isso aqui eu usava demais que olha aqui são são acessos diferentes Às vezes você tem acesso

no blob mas você não tem acesso no catálogo o catálogo de dados você tem um acesso para para acessar o catálogo Então pode ter tabela que eu não tenho acesso se quando você ent empresa Você só tem acesso às tabelas que você precisa ter Acesso lembra o privilégio dá o menor privilégio possível mas imagina que é o seguinte você tem acesso só que você tem acesso ao D tá vendo isso é isso única coisa que eu mudei foi aqui ó pedidos e pedidos só isso e mandei Executar tudo então você imagina que que eu se

eu desse alguém fez uma tabela aqui de pedidos eu não consigo acessar ela tá não consigo acessar tal de maneira Nenhuma porque eu não tenho acesso aí o que que eu teria que fazer solicitar abrir um chamado para alguém me dar um acesso para acessar tem um esquema só que imagina se você tem acesso ao blob lá ao Storage de armazenamento isso aqui fica armazenado vamos pegar um ambiente fica armazenar lá lá no S3 da Amazon E você tem acesso lá no S3 tem um modo de você dar um select direto no parquê vou fazer

aqui ó ó depois eu vou passar o acho que esse código eu vou Deixar aqui nesse notebook nem precisa fazer mas eu tô mostrando uma coisa que dá para burlar o é outra coisa que eu sou forte também é de achar brecha na na segurança para fazer minhas coisas mais rápido prto aqui ó a gente vai dar um select direto lá no Delta Então até [Música] tenho usar aqui a frasezinha tal e agora ó select from aí Você vai P Delta e o caminho ó o caminho é esse né a gente tem a location aqui

desse cara olha isso vamos ver se vai funcionar cara tá aqui ó eu dando select na tabela sem acessar o banco de dados ó eu estou dando select lá no parquê dentro da lá daquele caminho tá vendo que nem é o caminho do banco de dados ó é o lá realmente do parquê posso pegar aqui o Estabelecimento ó estabelecimentos é isso vamos ver se a gente dá um A tá quando tá gravando no mesmo caminho aí a tabela de estabelecimento aqui eu fazia isso sempre que eu sempre tenho acesso ao blob Mas tinha várias tabelas

que era criada que eu não tinha acesso L você não consegue usar isso aqui num código né então para você depois trabalhar você vai ter que pedir acesso à tabela mas quando você quer saber só o Que tem dentro da tabela Descobriu alguma coisa ali aqui ó Patrick e aparece quando a gente não tem esse acesso à tabela aparece aí você não tem acesso a tabela se você não tiver acesso você não vai ver você não tem acesso a nada você não consegue ver ela aqui dentro você não consegue ver ela aqui também é imagina

se você não tiver aqui ó is é uma coisa legal também ó lá bronze tem que estabelecimento né lá dentro do Catálogo se você clicar você vai conseguir ver os dados dela aqui ó então o catálogo ele é ele é visível tá aqui ó quando foi criada a tabela data da modificação o tamanho ó os dados que tem lá na tabela as colunas que a gente colocou de data carga e você tem um preview aqui dos dados Ó você tem uma uma pequena parte aqui dos dados ó tinha pouca linha ele até mostrou tudo mas

você tem um preview então dá para você entrar aqui e descobrir o que que Será que tem nessa tabela você consegue vir no catálogo aqui clicar em bronze por exemplo tem duas e v porém se você não tivesse acesso quando você clicasse aqui ele ia te dar um erro aqui em cima falando você não tem acesso de de visualização dessa tabela você precisa ter pelo menos o acesso de de reader ali né de leitura só que eu não tenho acesso ao catálogo não consigo dar um select asterisco mas Eu se eu tiver acesso lá aonde

fica armazenado eu consigo dar um select lá no caminho lá no parquê e pegar minha tabela isso aqui não precisa tô mostrando uma coisa que dá para fazer só PR você saber que existe tá que legal existe isso ah como que eu dou um select só select no Delta você vai ver aqui só jogar o caminho beleza até aí todo mundo conseguiu gravar Então vocês T que chegar aqui no catálogo para tá tudo certo vocês tem Que estar com as duas tabelas criadas aqui ó estabelecimento pedido a gente vai precisar usar esse cara então agora

a gente terminou até a bronze a gente falta fazer a Silver e a Gold e vão ser um pouco talvez a Silver um pouco tem ali uma parte de uma cazinha dentro mas a Gold é bem bem rápida vou até mostrar aqui quem não sabe importar um notebook então eu tenho A bronze pronta a fal assim ah T com vou quero importar exatamente do jeito que o que o Patrick fez a a dele ali então primeiro eu vou exp tá aqui ó tô no meu notebook quero passar para alguém então você tem vários formatos aqui

ó vamos exportar vou exportar aqui no no DBC que é do dat Breaks podia ser no HTML a pessoa ia conseguir até ver ali tá vou exportar aqui e ele foi aqui ó virou bronze pedido barra1 Tá vendo porque lá provavelmente eu já tinha outro mas esse É o meu quando você for exportar você vai lá onde você quer exportar vamos lá no catálogo workspace V ver que eu quisesse exportar aqui ó na raiz V exportar lá dentro da passa para não ficar bagunçado lá dentro aqui de quero exportar Aqui ó pode clicar com o

botão direito temho importar eu exportei né preciso importar para é isso e lá no arquivo onde Você salvou o meu PIS em downloads ó tá aqui ó Então tá aqui ó 11:53 né É o que eu Acabei de fazer tá aqui 11:53 só dar um Abrir pronto ele vai carregar aqui ó aqui o notebook você abrir é o mesmo notebook que eu tava aberto então quando eu passar o notebook ali se vocês quiserem tá esse aqui ó tá bem bagunçado Eu vou antes de passar para vocês vou tirar os selects aquição do do notebook bom

final de semana para todos