dia 01

A gente faz assim eu eu não vou entrar entrar muito no detalhe o que o time de de Squad x faz aqui mas acredito assim não vai fugir muito do que a gente faz aqui paraa operação tá a a a lógica aqui acredito vai ser a mesma é só o público que é um pouco diferente do que de fato a gente trata hoje tá mas o que que a gente faz tá eh basicamente eh nós somos responsáveis por todos os relatórios quase todos né porque existe relatórios Aqui publicados pelas outras áreas você vim aqui em

outras áreas aqui ó só um minutinho eh Se você olhar aqui em outras áreas você vai ver que existem relatórios publicados eh por outros setores não somente a gente tá quem pode publicar quem normalmente publica somos nós né Eh da área de dados aqui o time de bi tem relatórios mais corporativos né mas tem o pessoal do Robson normalmente planejamento tem um Ou dois relatórios e qualidade costuma ter mais tá eu tenho pouco relatório disponível aqui porque eu tive troca de cargo e eu perdi todos os acessos porque esse carro que eu tenho é novo

e quando a gente libera que eu vou mostrar para você daqui a pouco a gente libera relatório a gente normalmente libera pro CR da pessoa e pro cargo dela entendeu eh CR e cargo porque por exemplo vamos supor que no meu cargo Nesse caso tem três pessoas Hoje eu a Vitória por exemplo aqui deixa eu já abrir aqui só para te mostrar por exemplo aqui ó vou pegar qualquer vou pegar esse do gestão x aqui se eu clico aqui ó O cr esse aqui é um é é a a aqui no orb você já tem

acesso ao orb né o seu perfil ele vai ser figurado aqui no seu nome do lado direito no canto superior nós temos o gerenciamento de perfis onde a gente faz as concessões aí como que funciona fazemos a pesquisa de concessão do relatório do visual ali Dentro do orb Então aqui tem um agrupamento que ele ele é publicado o grupo o produto desculpa o nome do relatório e o tipo você pode pesquisar por exemplo aqui ó produtividade que é um que eu fiz aí Aqui aparece os produtos você pode pesquisar aqui cas Bahia para filtrar por

exemplo aí Você clicou aqui no produto no relatório né que você você quer fazer a disponibilização e aqui você filtra aí você Filtra não PR eu falei CR ou CR e cargo é porque você precisa saber do CR do cara e o cargo mas por exemplo eh você é da ouvidoria né ouvi Oria vou ficou muito grande aqui pera ouvidoria beleza ó aqui eu pesquisei pelo cargo ouvidoria apareceu os cargos e os CR eu poderia fazer dessa forma mas o ideal cara quando a gente tanto que se você pegar o chamado de liberação a gente

para liberar existe Uma planilha padrão que a pessoa tem que com o centro de custo dela o centro de resultado perdão e o cargo pra gente ser bem específico sabe porque senão a gente pode liberar né Se for por achismo ou proximidade corre risco de erro né de liberar para uma pessoa que não deveria Então nesse caso aqui a gente pega o CR da pessoa e o cargo aqui eu já achei né o seu o seu qual que é o seu cargo aqui ó aqui eu já poderia clicar aqui e liberar para você que eu

já Liberaria exato É isso que eu ia falar então por exemplo especialista de dados aqui ó o meu CR é o 3.19 especialista ó apareceu dois dois cargos aqui o Júnior e o pleno o pleno tá o Bruno e o Rander e o Júnior eu a eu a Vitória e a n então se eu clica aqui em associar vai liberar eles vendo ó realizei duas configurações ou seja pro pleno porque identifiquei que uma configuração já existia ou seja pro Júnior já existia então agora todos os Cinos T acesso Entendeu todo mundo que tá locado dentro

desse cargo tem acesso por pessoa pessoal não nesse caso não não sei se o teria ess possibil Mas eu acredito que não tá beleza então a gente é responsável continuando a explicação pelos relatórios né que que a gente disponibiliza dentro do orb e pelos dados do Robson já tem acesso a Robson você você Tinha acesso lá ou não só tirar essa barra aqui do te uhum uhum cara o josepe se eu não me engano ele é planejamento cara não mexe nada de assim mexe com relatório mexe Mas é mais é porque vamos lá é porque

a gente a gente tá separando é a gente tá separando algumas coisas normalmente quem constrói relatório somos nós tanto que a gente tá tentando puxar todos para Nós relatório de qualidade relatório de planejamento porque o planejamento dependendo ele cria esteira ele cria algumas coisas específica pro cliente mas não chega a ser ó o o planejamento ele não tem uma estrutura de dados tão consolidada então é tudo muito manual então assim é um Eu não eu não vivenci plane ento mas eu tenho pessoas que conheço pessoas e que trabalham no planejamento Então entendo um pouco como

funciona Lá é bem limitado não é assim Cara eh lá não pode se chamar área de dados não lá é mais é planejamento mesmo sabe é é um Pou bem diferente cara eh aqui você vai sim uhum ah ok ó o o Mis ele trata diretamente com a operação então por exemplo vamos supor que eh não assim operação em áreas de apoio tá eh a gente eh atende né ao público de operação planejamento qualidade e afins o bi eles cuidam de algo mais Corporativo o que que seria algo mais corporativo mais liderança por exemplo eles

cuidam de relatórios Se você pegar aqui é que eu tô sem acesso cara por exemplo aqui ó notificaç não notificações aqui foi o seu né Quer ver Deixa eu pegar algo aqui também tanto que a nossa área agora a gente do Squad x faz algo mais voltado corporativo entendeu não diretamente co operação Então você vai ver que bi Ele vai Construir por exemplo uma replicação de banco eh para eles trabalham para ara de apoio também não é diretamente ligado a uma operação entendeu não é diretamente ligado a um produto é é algo mais ser é

porque antes eh era mais corporativo Só que os bais eles estão pegando algumas replicações de produto específico Mas é bem mais corpor do que a a área de mis Entendeu É é é uma explicação é porque eu nunc cheguei a trabalhar no bi sabe então eu tenho o que me explicaram o que me explicaram é isso entendeu tá é você vai ver que o b ele vai preocupar mais por exemplo e mais por exemplo a gente aqui disponibiliza o dado e tal preocupa mais com dado o pi ele vai preocupar um p pouco mais com

a plataforma por exemplo o o orb aqui eles são responsáveis em Manter funcionando entendeu Por exemplo eles Teve uma época que se desse algum problema em alguma coisa do etl só que hoje Isso mudou os conhecimentos mudaram a gente chamava o pessoal de bi para ajudar a gente algo específico entendeu isso mudar o conhecimento mudou a a o nível mudou Tem coisas que a gente tá fazendo melhor que o bi hoje entendeu então assim e a gente é responsável pelos dados do Robson né a gente tem Toda a estrutura de dados que eu vou te

apresentar que a gente disponibiliza esses dados Robson só que aí que muda o Squad x eu t apresentando o que a área de dados noss aqui de que operação faz o Squad X Ele trabalha um pouquinho diferente ele não tá preocupado com dados de Robson porque isso aqui é operação então por isso que eu te apresentar o que a gente faz aqui tanto eh operação quanto Squad x Tá então vamos lá tu já viu alguma estrutura de Dados tá então beleza beleza seguinte cara eh como que a gente faz para construir um relatório como que

a gente faz para disponibilizar os dados lá na ponta de Robson existe toda uma estrutura e uma camada por detrás disso as pessoas têm em mente que a gente só cria relatório só que eh existe uma coisa muito mais além disso existe toda uma estrutura de dados um etl bem feito então isso tudo a área De dados faz Então como que a gente faz desde a ponta primeira coisa que a gente faz é receber o dado eu gosto de desenhar viu Mateus não repara não eu sou eu sou picaço do desenho aham é eu eu

também gosto Aqui nós temos a origem do dado quais origens que a gente pode receber cara a primeira mais usual Excel né o Excel ou csv né É então a gente pode receber bases origens de dados por Excel e csv a gente pode não é muito usual mas pode receber por TXT a gente pode receber por via api os meus produtos são toda via api cara coleta via api a gente pode coletar através de sftp Hum que mais deixa eu pensar aqui hum por banco de dados a gente pode colocar o banco de dados mais

Simples você acredita Ah sim sim é normalmente a gente puxa quando por exemplo vamos supor que o pessoal de ura disponibiliza um dado pra gente a gente vai lá e coleta entendeu quando é mais interna é mais fácil é eu acho que é mais interno na verdade aqui é is que consegue coletar banco de dados tá bebendo água Beleza pode existir mais origens aqui tá mas as principais eu eu eu deixei aqui então beleza A gente recebeu esse Dado o que que a gente faz com esse dado aí a gente começa a fazer um etl

você Você conhece a palavra etl isso Exatamente é faculdade sempre D dá uma revisada S fala um pouco sobre isso né bem por alto mas basicamente vou pegar pode falar desculpa uhum da prática né Beleza ó o ET descreve o processo completo e que a empresa coleta todos os dados estruturas não estruturados gerenciamento qualquer Número de equipe Ou seja a gente faz uma um tratamento daquele dado entendeu E e disponibiliza ele em algum lugar no caso um banco de dados então o que que a gente faz a gente coleta essas origens e através dessas origens

a gente armazena dentro de um banco de dados só que aí a gente usa um um programa para fazer o etl que chama Sis da Microsoft pode chamar de que é esse daqui ó S6 a gente é porque Ah ele F como visual Studio aqui o nome aqui ó é é é o é é porque o visual Studio eles eles têm vários eh eh tem vários programas dentro quer ver aqui ó visual Studio se eu eh procurar aqui visual Studio você vai ver que tem várias eh como que eu posso dizer programas não é programa

eh como que eu posso explicar cara eh exatamente então assim a gente usa o Sis cara aqui ó visual Studio Sis aqui apareceu o exato perfeito a a melhor a melhor analogia É essa mesmo integration Services então a gente usa esse o visual Studio para fazer o etl vou abrir uma aqui para te mostrar trar como que funciona aí a gente é organizado aqui através das pastas de redes eh que eu vou entrar daqui a pouco eu não vou entrar no detalhe ainda que Eu vou fazer por partes tá vou abrir um do meu produto

aqui eu cuido da Ultragás e da Via Cara essa aqui é uma pare de rede vou te passar o caminho tudo onde a gente usa a Ultragás essa aqui é o esqueleto ah a organização do nosso etl o origem relatórios vou falar na sequência Robson rentabilização e replicação nessa sequência um origem dois Relatórios TRS Robson quatro rentabilização colocar renta aqui e C replicação vou te explicar cada uma delas sim Essa ordem ela é muito importante já caiu em prova isso aqui interna aqui sobre essa Essa ordem tá porque você vai entender você vai entender ela

tá primeira a origem O que que a gente faz na origem vou abrir ela aqui enquanto eu te explico aí aqui é a passa tá vendo a passa da origem Aqui Nós temos subpastas que é criada para cada eh para cada pacote para cada desculpa para cada projeto e dentro de cada projeto tem vários pacotes ô ô Mateus o que eu vou te passar vai ser muita informação cara não se cobre tanto de falar pô fiquei um pouco perdido eu vou tentar arranhar Mas você vai aprender na prática tá uhum uhum bo boa excelente Então

vamos lá boa boa cara eu sempre assim já tem Uns três três meses tem mais cara já tem uns seis meses mais ou menos que eu não treino ninguém mas eu era o focal de treinamento aqui na no do meu Squad que eu atuava então assim eu pegava algumas pessoas na mão sabe eu tenho pessoas que eu treinei cara que hoje são são Senior sabe eh Mas enfim vamos lá então dentro hoje do Squad x não mas dentro dos outros squads tem tá espalhado aí por vários squads Eh Bom vamos lá falando da origem tá

a o nosso primeira nossa primeira etapa aqui a origem O que que a gente faz na origem a gente pega toda essas origens que eu falei com você e a gente armazena dentro de um banco de dados que é que é esse daqui Edson Beleza você tá me mostrando aqui num banco de dados deixa eu Minimizar ele aqui a gente usa o Mateus hoje o Prim no um como no nosso banco de dados oficial da nossa área tanto M não vou Falar é de dados quant Squad x tá é o Prim no um tanto não

sei se você escutou ontem o tle falando Ah edon olha com Mateus as origens lá pra gente pedir o bi para disponibilizar os dados dentro do Pr um DM aí ele até perguntou o menino lá já criou já o DM ouvidoria tá aqui ó DM ouvidoria ó já tá criado só que não deve ter tabela Nenhuma ainda né porque tá vendo tá zerado então aqui é o banco de dados o banco de dados é o primino servidor é o primino desculpa Eh servidor primino vou falar o nome correto para não passar informação errada Aqui nós

temos o servidor Prim um e aqui são os bancos de dados então nós temos o banco de dados eh de acordo com o nome aqui todos vão sofrer alterações tá todos vão entrar como DM a gente usa a gente usava o Mis aqui antes então aqui ó tem o da ultragas que é o produto que eu cuido aqui eu tenho eu cliquei no maizinho expandi o banco de dados e aqui eu tenho As tabelas e as exibições exibições entra mais e views né que a gente cria mas esse aqui depois eu te explico aqui são

as tabelas então aqui você vê todas as tabelas que são criadas dentro do banco de dados que pertence a Ultragás né então Aqui nós temos havaia eh cif então beleza então não vou entrar então em detalhe não tá beleza fechado e como que a gente Diferencia então por exemplo fiz um etl tô abrir o etl recebi a origem como eu te mostrei aqui e como é como que Eu descarrego isso para dentro do banco de dados como eu te falei através do visual Studio que eu vou te mostrar agora o sis ele abre dessa forma

a ferramenta essa aqui você nunca teve acesso né você nunca mexeu né entendi e então uhum tá aqui do canto direito ele abre para mim o gerenciador de soluções Que é onde nós vemos as soluções que foram criadas para dentro desse para dentro dessa solução né Eh aqui são as passas de organizações todas as origens vai receber eh eh depois de refatorado tá porque tem ainda a gente tá refatorando os produtos mas a ideia é que todos Fiquem dessa dessa disposição aqui administrações e log dimensões e origens de dados administração e logs vou falar daqui

a pouco para não te confundir as dimensões é onde nós Recebemos todo dado que vai servir como dimensão pro meu dado exemplo hierarquia Você entende quando eu falo dimensão é tranquilo para você ou não a dimensão vou falar usar um termo mais e vou te falar na prática qual não isso é um fato qual conceito de dimensão para banco de dados uma dimensão do banco é uma coleção de objetiv de objetos Relacionados chamados atributos que podem ser usados para fornecer informações sobre dados de fatos de um ou mais cubos exemplo na prática tá eu quis

fazer isso para te dar um exemplo na prática vou abrir uma hierarquia aqui que é uma dimensão tá vendo que as tabelas de dados antes de vir o nome da tabela ela tem um esquema High plataforma index log rlt sistemas tá dando para enxergar quer que dá um Zoom perfeito então vou abrir uma dimensão aqui para você entender a dimensão aqui ela vai acontecer da seguinte forma ela vai servir de apoio para uma outra tabela para trazer informação por exemplo do André aqui ó vou filtrar o André para te mostrar uma coisa o André o

André luí Ferreira todo aqui o que que acontece para ele aqui vai trazer informação para ele uma linha naquele dia Ela ela vai deixar de ser uma dimensão Se o André tiver mais de um resultado no mesmo dia vamos supor que você tem uma tabela que não tem a data se aquela tabela ela repete a linha duplica Ela não é uma dimensão então exemplo nesse caso aqui o André ele tem uma linha por dia com todas as informações dele isso aqui é uma dimensão exemplo vou te mostrar uma de de hum é é porque o

histórico ele vai Entrar como se fosse um fato entendeu Talvez o histórico ele fica é é uma tabela que serve como apoio para você tirar uma informação então por exemplo aqui ó você vai ver que dia em calendário eh que tem a informação uma vez só do dia eh esse aqui de fluxo de ura para você ter ideia ó eh vou ordenar aqui só pelo pelo código só para você ver ó Isso aqui é um é uma dimensão Por quê Ela servir como apoio para uma outra tabela Minha para me fazer cruzamento e tirar as

informações né vamos supor que uma tabela minha eu só tenho o código e através desse código eu trago a informação de segmento fluxo e destino se tiver mais de um código aqui ela deixa de ser dimensão do mesmo código tá ela deixa de ser dimensão ela pode repetir ela pode repetir o código eh se tiver uma algo que diferencia dessa linha por exemplo uma data início e fim por exemplo aqui no peso tem eh é porque Eu tô entrando bem no detalhe Sim por favor exato no nosso caso duplica toda caga todo seu banco de

dados entendeu por exemplo se tiver na na de um operador que por exemplo operador de hierarquias vai ver que a gente usa em todos os processos praticamente é um dado um dado único eh e por exemplo se eu cruzar nó de Fazer um cruzamento para achar o André eu tenho só matrícula lá no banco de dados com dado fato dele o que ele atendeu o que ele fez da vida dele lá Eu tenho um código que vai e eh vai ser um código forte uma chave forte para mim fazer o cruzamento que é a matrícula

normalmente a gente usa matrícula e data né ou um código mais forte ainda é o ID hierarquia mas ISS aqui depois eu te explico isso aqui é pra gente fazer uns cruzamentos mais mais paraa frente então Através desse código aqui desses duas Chaves aqui eu encontro toda a informação do André naquele dia 4 então por exemplo se eu quiser saber que o nome dele eh qual a operação que ele tá vinculado e qual a situação dele qual que é o cargo dele aí eu começo trazer todas as informações dele entendeu então essa tabela ela serve

para mim como de apoio de uma tabela fato tá então beleza eh aqui nós eh fazemos a Disponibilizações das dimensões E aqui as tabelas de origem de dados então que que a gente pega a gente pega uma tabela isso aqui é banco de dados vou pegar um que US Excel esse aqui ó vou te mostrar Eh aí só te explicar o que que eu abri aqui tá essa aqui são as pastas então como eu te falei tem as pastas que estão organizadas em administrações dimensões e out origem quando você expande a pasta Abre os projetos

a gente chama isso daqui cada um de projeto tá nós temos o projeto da origem havaia nós temos o projeto origem cif e assim sucessivamente quando a gente expande um projeto a gente abre Eh abre essa página a gente olha os pacotes tá e aqui são os pacotes de cada origem então todas as origens que vem da High plataforma estão disponibilizadas dentro desse projeto então aqui eu tenho dentro da origem eh High plataforma por exemplo vamos supor Que eu tenho uma plataforma lá que chama eh essa né que chama High plataforma eu pego todas as

origens que eu recebo dessa desse site dessa plataforma e disponibilizo aqui entendeu essa daqui é uma estrutura básica eh de origem tanto Excel Quanto csv quanto txt Tá o que que ela faz aqui vou te explicar algumas coisinhas depois a gente vai assim eu tô te explicando a teoria tá Mateus mas a gente vai entrar Na prática depois viu velho aqui a gente testa a conexão e eu vou deixar você fazer eu eu falo que a pessoa aprende fazendo eu vou mandar você mandar a tela aí você vai fazer se vira brincadeira pera aí é

pô você não tem ainda os negócios na sua máquina né Uhum Não beleza Tá Uhum não não aguenta não não abre nem Power Bi é então beleza O que que a gente faz vamos lá vou te falar eu tô explicando a teoria né então isso daqui que eu tô te mostrando é uma tesque tudo que eu tô clicando aqui a chama de tesque tarefa né e aqui são os contêiner Aqui nós temos um contêiner de sequência que ele passa uma vez só e aqui o coner loop que ele faz ele vai a própria loop né

Ele Vai carregando vai fazendo loop a gente que passa uma uma a gente passa loop quando ele deve parar aí eu entrar no detalhe depois então aqui a primeira tesque aqui ela testa a conexão do Servidor e do banco Por que que a gente faz isso a gente precisa testar eh o banco eh para ver se ele tá online ou não porque pode acontecer do banco não do Servidor a gente precisa validar se o servidor tá online porque pode acontecer do Servidor tá offline a gente tá Imputar os dados então que que a gente faz

aqui a gente só vai passar o o começar executar esse contêiner quando o quando o banco tiver online aí tem uma validação de FX aqui uma função e tal aí a gente valida aqui ó tá vendo que ele tá aqui ele passa um script esse aqui é uma tarefa de script tá de csharp até fala aqui ó script linguagem Microsoft csharp 2017 Isso aqui é uma um scrip bem bem bem bem bem simplesinho ele aqui para te mostrar eu cliquei em Editar script tá aqui ó eh é esse script aqui ó praticamente aqui ele passa

um um um valor boleano né para paraa conexão válida eh se já ou C Sharp ou não Tá então não vou entrar muito em detalhe para também não aqui ele fala o tempo passa o tempo aqui ele fala o a né que vai carregando vai fazendo loop ali carregando enfim eh depois eu vou explicar com um pouco Mais de detalhe para mas aqui isso aqui é bem simplesinho tá E e aí a gente passa através desse eh dessa expressão Ride eh variables aqui é porque são as as variáveis que a gente seta aqui embaixo Aqui

eu falo Qual que é o nome do banco do Servidor e do banco de dados tá vendo aí ele puxa aqui para saber qual que é o nome do Servidor conexão servidor válida conexão servidor válida ele altera essa variável aqui ó para false e para True vamos lá então aqui a gente tem um carregamento do dados aqui que que a gente faz aqui a gente cria uma tabela temporária do pra gente armazenar o dado do nosso da nossa base ou do nosso csv então aqui a gente faz um Create table mesmo é esse aqui é

linguagem SQL mesmo tá eh tanto que se você pegar o esse tesque que eu te mostrei ela chama meditor de tarefa executar SQL Então ela executa isso aqui não vou entrar no detalhe não Eh então aqui a gente cria uma Stage vou tacar ISS aqui no SQL só para fica mais fácil da gente visualizar e te mostrar é aqui a gente cria uma temporária pra gente poder manusear esse dado eh para fazer as alterações que a gente quer PR a gente não fazer essa alteração na tabela final a gente faz isso daqui então a gente

cria uma temporária essa essa tabela toda a tabela temporária não vou falar temporária não porque Temporária ela é diferente ela a a tabela temporária já criou tabela temporária alguma vez pela você usa tipo eh normalmente a gente usa ou pode ser Create mas a gente usa normalmente into hash temp alguma coisa tipo temp Mateus aqui ó aqui aqui quer ver aqui ó vou criar uma trabalho temporário rapidinho aqui só para te mostrar uma parada select não vou brincar com isso aqui não depois a gente vir eu ia fazer aqui mas Vai impactar no negócio aqui

e eu não depois a gente brinca com isso quando eu tiver quando eu tiver mostrando algumas coisas que eu te mostro então que a gente cria temporária aí aqui a gente seta né o o tipo de dado e tal isso aqui tranquilo beleza e aqui nós Já começamos carregar o dado aqui ó nós setos Qual que é o tipo de origem do arquivo aqui tá eh é uma uma tesque de arquivos simples o arquivo simples ele é um csv ou TXT Eh aqui esse arquivo aqui nesse caso é um arquivo T eh csv a gente

faz a leitura dele e a gente descarrega naquela Stage que a gente acabou de criar tá vendo aqui ó Stage deixa eu criar ela aqui só para vou rodar beleza comando criado ou seja criou a tabela Stage então se eu ven aqui no destino Eu tenho todas as colunas que eu criei lá tá vendo e essas colunas eu crio de acordo com o nome das colunas do arquivo essa aqui são as colunas do arquivo tá Vendo que tem lá dentro do arquivo de csv e aqui Eu descarrego pego ela né aí aqui fala ó gerenciamento

eu conecto o banco e qual que é o nome de tabela que eu quero descarregar esse dado nesse caso a Stage que eu criei e aqui eu faço mapeamento de coluna para coluna então é data para data sempre é bom você criar um para um tá para ficar mais fácil de identificar Beleza então eu inseri esse dado dentro qu ver deixa eu pegar até uma base aqui pra gente brincar Rapidinho aham vi que tem importa Pass pass na casa ela que passou que bonitinha beleza Tá com pi na a aí a gente a gente tem

tudo organizado Mateus aonde fica as origens as bases onde fica os relatórios Power FBI onde fica os etl Onde fica tudo tá essa aqui onde eu tô manipulando e mexendo agora é no meu diretório de bases tá tudo fica aqui em fonte departamento M ó eu tenho tudo organizado por por passo administrativo Base etl instaladores então todas as bases entram aqui ó a gente tem todos os produtos então por exemplo Ultragás aqui ó aí eu tenho o nome da origem aqui é sempre bom criar cara quando você tá criando pastas é por exemplo eu quero

quear uma pasta de Base é sempre aqui tá errado tá É sempre bom criar E aí a outra G tá precisando refatorar algumas coisas um para um então por exemplo se aqui o meu nome é origem plataforma High plataforma Ultragas traço era que esse nome de pasta aqui tem o mesmo nome aqui porque fica fácil de identificar quem não conhece o produto você bater no olho você sabe ó aonde fica as origens da High plataforma beleza lá nas bases aí você vai lá na base você vai entrar na ultragas você vai ver lá já ultragas

traça origem High plataforma tá então por exemplo aqui eu vi aqui na High plataforma e coloquei aqui uma base de csv ó extensão dela que é csv e a gente Vai carregar ela agora em banco tá eu vou desabilitar isso daqui só para não executar vou desabilitar isso aqui também aí como é que eu faço e a tesca ela vai testar o banco criar Stage e carregar os dados na Stage eu vou clicar em executar aqui ó iniciar isso tudo é feito de forma automática por isso que eu não através do administração e log que

eu vou te mostrar daqui a pouco cara muita informação quer parar Por aqui quer continuar tá dando tá dando para pegar beleza deu erro Hum por que que deu erro vamos aqui em Progresso vamos entender não é possível converter a coluna entre os tipos detic Caracas unicode e não unicode beleza foi esse então provavelmente Teve alguma alteração no nome ou no tipo né do dado ou disposição de colunas nós vamos descobrir isso agora Tá abrindo o arquivo que esse arquivo é muito pesado cara pegar uma base mais leve Amor conseguiu marcar láb toma ele tá

falando el repete o que você fala ah é é Nossa até agora tá abrindo cara 135 m também Mateus mas aqui já dá para gente ter até noção cara tá falando que o erro fala que o erro eh não é possível converter a coluna coluna pergunta deixa eu abrir Aqui vou vir no editor botão direito editor avançado deixa eu ver como que a gente tá convertendo esse Campo pergunta né Pergunta a gente tá tratando ela para strr vaixar wst wst é n varchar e STR é varchar ó pergunta Cara eu preciso dessa pergunta eu acredito

que não eu preciso da resposta que que eu vou fazer porque eu não Armazeno isso aqui em banco cara eu não preciso disso O que que eu vou fazer não fechar ainda não deixa eu só ver um negócio aqui talvez eu nem vou ler essa coluna cara deixa eu deixa eu ver se eu descarrego ela na Stage pergunta descarrego então que eu vou fazer se der erro de novo eu vou desconsiderar ela eu vou só aumentar o tamanho de dado que sai dela como é pra Stage cara Stage não tem problema tá Vou colocar aqui

4.000 eu vou mexer na Stage como é um para um eu vou construir essa resposta aqui para n e vai achar 4.000 vamos lá vou rodar tá com erro ali mas eu acho que vai ajustar cara mesmo erro Ah não é possível converter a coluna entendi eu trato ela como enchar por que que eu faço isso enchar Nela Será que eu faço um tratamento de utf deixa eu ver TF é para tratar quando tem acentuação e tal uhum não então aqui eu não tenho necessidade de trazer essa coluna como n vá cara eu posso deixar

ela como próprio vá o que que eu vou fazer o nome aqui eu vou deixar Vá a resposta vou deixar como vaixar 8000 ver se vai ou mesma coisa botão direito editor avançado propriedades coluna de saída nós vamos fazer descarregar ela como pergunta tá aí tá vendo tem o wst que é o n vá e o STR que é varchar vou colocar descarregar ela como STR 8000 ou seja vai achar 8000 a resposta não tô lembrar já tá ok o nome vou descarregar como STR 8000 Também só continuar o erro aqui qual o erro que

tá dando tá falando a coluna Ahã tá dando erro Pera que que eu vou fazer eu vou criar essa Stage de novo não vou ter que passar tá falando com o código tá errado tá dando com unicode é bom você já ver esses erros na prática aí para você já ver como que ajusta ó pergunta ela tá entrando como STR e aqui ela tá sendo criada como STR Beleza um para um só que tá falando aí ajustou vou tentar rodar de novo vamos ver se vai dar aí vou rodar aqui dentro do fluxo de dados

mesmo para ver como é que fica ainda deu erro Vamos tentar pegar de novo o erro vamos ver se é o mesmo Ah tá aberto a minha máquina aí fica difícil né quase já tô até aqui Pronto voltei não só usar Mano aí tá E tá descarregando tá vendo tá pegando tá passando as linhas ó 62.000 63.000 e tá se carregando dentro da Stage é gente pegar um um projeto bem mais simples que esse aqui tem muitas linhas V aí a gente tá descarregando o dado Mateus ele de forma assim sem sofrer nenhum tipo de

manipulação ou de tratamento a gente tá pegando o dado de fato como ele vem na base e Descarregando dentro da origem é a gente só vai fazer o próximo tratamento aqui que é para descarregar ele de um tipo de dado correto né você não concordam comigo que a gente tem que ter boas práticas para não armazenar um tipo de dado do tamanho por exemplo vamos supor que eh uma perguntinha perguntinha de prova você tem um campo de estado de UEF Qual que é o tipo correto para descarregar ele você acha que é melhor Um varchar

50 você acha que é melhor descarregar esse campo como um n 50 Ou você acha melhor que é um char do Beleza então não tem por você colocar lá um vaixar sendo que o campo não tem variação então esses tipos de prática a gente adota aqui na origem pra gente já pensar na saúde do banco né Falando de forma Longa em um período longo né gente tudo bem você pode colocar ele como Varchar 10 aqui mas daqui 10 anos como é que tanto que isso vai est pesando dentro do seu banco sendo que o o

chá ele pesa muito menos né Ó esse daqui que aham sim por qu aqui ó vou até abrir aqui não sei se você tem esse site aqui esse site que cara é sensacional porque por padrão cara o vá ele já tem ó o chá ele tem um tamanho definido tá vendo ele vai ser um tamanho que você definir ali toda vez quando você usa um vá ou um n vá ele já pesa Dois Bates a mais eles exato Ele sempre vai pesar do byes a mais você tem esse site aqui vou te mandar tá que

mandei aí no no aqui no chat tá esse site aqui é sensacional cara beleza aí que que o próxima etapa aqui agora tá Mateus é o eu carreguei os dados na Stage peguei os dados da do meu Excel do meu csv e já armazenei dentro do banco de dados agora a gente vai colocar ele na tabela final de origem lembra que eu não inseri num Stage que é uma tabela temporária eu vou abrir ele aqui até para você ver como é que tá ó vou vir aqui em tabelas Vou atualizar aqui essa que gente cri

tage nota bot WhatsApp aqui ó o dado que a gente pegou lá do Excel e tratou só que O seguinte já vou te falar de boas práticas cara tem coisa aqui que eu não preciso armazenar dentro do meu banco por exemplo eu não vou armazenar essa Bíblia de pergunta aqui para que que eu preciso de uma pergunta talvez em algo específico a gente vai até usar Mas a gente pode simplificar por exemplo resposta eu não preciso armazenar isso em banco resposta aqui é o tanque o o cara vai digitando lá então você imagina né se

o cara querendo desabafar né então Assim eu não preciso armazenar isso em banco então para que que eu vou armazenar isso na minha origem então eu faço os tratamentos essa aqui é é uma consulta que vai tacar o meu dado lá na minha tabela final eu vou comentar algumas coisas aqui pra gente para te mostrar o que que ela faz Beleza então eu peguei somente quatro colunas que é de fato o que eu preciso para armazenar dentro do meu banco então aqui eu apli um distinct né Eu trato aqui eu já começo a tratar a

data tá vendo ó a data aqui deixa eu ver como é que era a data ó a data data e hora só que nesse caso aqui em específica eu não preciso da hora em alguns casos sim tá mas nesse caso aqui eu não precisava de hora então eu dou umate aqui somente data por exemplo id o id atendimento é onde eu vou encontrar o atendimento do cara nesse nessa tabela aqui eu precisava só da nota do bote sabe e se a solicitação foi atendida ou Não então aqui eu fiz um tratamento de chá né que

esse aí de atendimento ele não ultrapassa 36 e nem é menor que 36 então eu dei um Shark você fala de de não alterar que que eu faço toda vez quando você recebe um dado Você estuda esse Estado então por exemplo não aí eu pego aqui por exemplo vou te mostrar select eu vou pegar a coluna ID atendimento por exemplo que que a gente faz Tá aqui eu posso fazer um Len que aqui só que eu vou fazer por partes tá o Len ele vai contar a quantidade de caracteres que tem naquela e vou fazer

o seguinte vou trazer o ID atendimento copiar aqui porque como a Stage ela ainda não beleza ó aqui mostra para mim a quantidade você poderia fazer o seguinte vem cá copiar tacar no Excel e ver a quantidade o máximo Aqui não se eu deixar somente aqui dá certo mas como eu exibi O atendimento aqui o distin ele vai são vários aí de atendimento né mas o que que a gente pode fazer tu pode fazer um e pode fazer um min bonitinho Tá e agora você vai ver o máximo e o Mino de cada um tá

vendo ele não altera ele nem altera para mais e nem para menos Então você começa você começa a Estudar o dado tá vendo então ó se não tem nem para mais nem para menos é um CH e é campo de texto né então é um ch então beleza então aqui eu fiz um tratamento dele isso aqui é uma um tratamento de substring que eu precisava pegar aqui a gente eu faço vários tratamentos eu pego Wi faço substring e faço paex que eu eu precisava pegar essa nota aqui em específico Ela só vem no meio Por

exemplo aqui ó vou te mostrar onde ela vem fazer um like aqui na coluna propriedades fazer o we propriedades like Beleza você ter ideia onde ela vem ela vem na coluna propriedades e ela vem aqui no meio aqui an nota ó no meio dessa confusão toda aqui ó é gigante cara não não Veio aqui ó tag pesquisa satisfação tá vendo eu preciso dessa tzin aqui então eu faço esse tratamento aqui para pegar essa nota lá naquele meio naquele miolo a mesma coisa acontece solicitação atendida na tag solicitação atendida aqui ó normalmente eu acho que ela

fica depois ess cara depois ou antes Aqui ó solicitação atendida tá vendo eh Beleza então aqui eu fiz o tratamento do dado da dessa tabela toda que eu tô te mostrando aqui ela virou isso daqui ó Um dado mais mais sem sofrer manipulação a única coisa que eu faço nele é para pegar o que eu quero mas eu não somei eu não fiz nada de tipo sumarizar a tabela ou manipular a tabela tá eu armazeno o dado como que ele praticamente vem né só armazeno que eu preciso Eita ficou em espera aqui para mim não

sei se para você aí ficou Você escutou até onde não então beleza aí o que que eu Faço aqui tá seguindo aqui o código eu fiz gente ué visão tempo Ué eu abri o monitor de atividade What eu deve ter segurado control aqui Abriu alguma coisa não vai abrir isso provavelmente quer ver monitor de atividade cara nunca abri Isso deve ser algum comando que eu apertei aqui sem querer deixa eu descomentar aqui beleza que que ele faz Aqui tá a gente vai deletar os dados na minha tabela final não vou entrar muito em detalhe isso

aqui que não porque senão vai ficar muito confuso mas aqui Eu deleto de acordo com o que eu eu acabei de carregar do meu arquivo porque por exemplo vamos supor que esse dado que eu tô descarregando nesse csv já t no meu banco de dados eu vou duplicar a informação então eu faço delete Entendeu Beleza então aqui eu pego esses dados faço o insert lá na minha tabela Final que chama High plataforma not desses dados que eu acabei de tratar então aqui eu ensino na tabela final agora eu pego essa base a base que eu

acabei de ler eu movo ela para pra pasta de processados dentro da minha rede e se der algum erro tanto na carregamento de dados na Stage quanto na tabela final ela move ele para rejeitados e sobe um e-mail me sinalizando aliás sobe e-mail não o e-mail ele sobe na na log de erro cara você tá escutando um liquidificador Batendo aí tá tranquilo e aqui é uma parte de limpeza essa parte aqui do lado direito o que ela faz ela compacta os arquivos eh para zipar ele né e aqui ele faz uma limpeza tanto da processados

quanto de rejeitados isso tudo é é setado através de variáveis Depois eu te explico um pouco mais de detalhe Esse é o processo de carregar uma base tanto em ssv quanto de Excel ou TXT tá aí nós temos a api cara a api é Um pouco mais mais complexo já mexeu com api alguma vez mas a gente faz tudo no etl tá eh aí esse aqui a gente tem o processo é um pouquinho diferente a gente tem um loop para carregar por dia aqui nós temos o o que a gente apaga os dados lá de

acordo com o que tá na pi né O que a gente vai carregar e aqui carrega os registros é a gente configura isso através de csharp Aqui ó dados coleta api e a gente vai descarregando nas tabelas tá vendo esse aqui é um pouquinho diferente porque a gente separa por tabela é porque a linguagem Deon que tem dentro lá do do deles lá é um Pou mano É muito esquisito então a gente teve que apartar em 1 2 3 4 5 se tabelas é mu loucura enfim aí a gente coleta os dados lá na api

através do Point né e coleta essa informação e traz para dentro do nosso banco de dados através também do Processo aqui pera aí que eu cliquei para abrir só para te mostrar como é que a estrutura a estrutura é essa daqui ó essa aqui são as colunas né que a gente puxa aqui nós começa a fazer um nicho de validação e aqui é o tipo de dado ó protocolo n string e assim sucessivamente ess aqui é uma lista enfim beleza essa aqui são as origens que a gente recebe origem de banco de Dados é dessa

forma aqui ó estrato de chamada aí aqui a gente declara a data atualização normalmente é bem padrão sabe a data atualização é a data que eu quero setar para mim puxar o arquivo sabe aqui a gente deleta Não vou entrar muito em detalhe isso aqui a gente deleta os dados de acordo com a data atualização que eu quero setar vamos supor que minha data atualização vai ser de ontem então ele vai ele vai setar aqui através de Consulta de SQL a data de ontem que eu quero ele deleta de acordo com a data que eu

tô setando e carrega de acordo com a data que eu tô setando aí ela faz o seguinte esse aqui é um pouquinho mais complexo não vou mostrar esse aqui não porque o esqueleto dele é gigante ó tá vendo Vamos mostrar isso aqui ó ISO aqui é mais simplesinho viu esse aqui é deura ó seta data deleta e carrega os dados a gente pua lá uma consulta de tá Vendo uma consulta de lá do banco de dados que a gente querendo pegar os dados E descarrega Nossa vendo mesmo Padão daquela outra lá tranquilo dúvidas perguntas aqui

sobre ISO aqui aí cara você vai falar Beleza então ten que entrar nesses pacotes aqui rodar um por um o meu dado subir não sim e não você não precisa mim só qu dar erro Dea eu só ver Minas mensagens aqui Cara eh deixa eu só ir no banheiro aqui rapidinho velho rapidão Mateus voltei cara tá aí aham é se tiver algum eh tio por exemplo vamos supor que tem algum tratamento específico aí você precisa voltar aí o que que ele é precisa alterar ou fazer alguma ajuda Isso tudo roda cara por dia de forma

automática Mas beleza Como que você configura isso aqui em administrações L por isso que falei que ia passar el por último a gente tem um eu vou chamar de gatilho Pai você pode chamar de gatil você pode chamar o que você achar mais razoável e entendível para você o que que o gatilho pai faz el essa tarefa aqui do El executa um ou seja se eu clicar aqui para executar Essa tesca em específico gatilho projeto índex que que ele vai fazer ele vai Executar a origem do projeto aqui do índex que é esse gatilho Então

esse gatilho aqui vai puxar esse gatilho aqui vou abrir ele aqui ó Beleza então o gatilho pai tá puxando esse outro gatilho pai aqui esse gatilho filho e esse gatilho tá executando também o outro gatilho tá vendo aqui ó é aí que são o gatilho pacote pesquisa ou seja ele vai puxar para executar Esse Pacote transacional ele vai executar Esse pacote relacional mi e vai puxar Esse pacote pesquisa relacional Empresarial Ou seja é um puxando o outro eu vou executar isso aqui só para te mostrar pode falar pode exato o gatilho de processamento ele é

acima de todos e dentro dos pacotes tem os gatilhos origens que está acima exata exato então por exemplo aqui se eu Executar esse gatilho de origem fic olhando o que que ele vai fazer para mim ó vou colocar para executar ó vai carregar o contêiner ó beleza Já carregou o contêiner aqui esperar porque el tá carregando beleza acabou como não tinha arquivo por isso que ele carregou rápido ó ele executou o pacote transacional abriu o pacote transacional rodou abriu esse outro pacote rodou abriu esse outro pacote rodou beleza Ou seja um gatilho Puxa o outro

vou dar stop e vou executar o gatilho pai agora vou te mostrar ó vou executar o gatilho pai gatilho pai vai puxar os outros vai puxar o gatilho origem e o gatilho origem vai puxar os demais ó S puxando todo mundo beleza se eu voltei aqui no gatilho pai ó ele deu êxito porque rodou aqui executou e esses aqui executou esses Aquii não eu posso Executar tudo aqui e executa tudo de uma vez eu só não vou executar porque senão vai odar toda a origem em minha aqui e demora mas aí é Exato eu eu

rodo tudo você fala ess beleza mas eu tenho que entrar aqui e rodar não existe uma uma conexão entre o skl e o visual Studio os dois eles se conversam Então dentro do SPL eu consigo criar uma rotina dentro do meu servidor para executar um Trabalho que é isso daqui que eu tô te mostrando agora ó então o bi eles configuram tá vendo como o quem configura esse aqui é o Bi tá essa parte do SQL aqui da da da Job a gente chama de job você ó deu problema na Job Deu problema na Job

é porque deu problema na hora de executar toda essa estrutura de dados aqui não toda né deu um erro específico em algum lugar mas na hora de tentar rodar essa estrutura que eu tô te Mostrando então aqui que que o skl faz a gente cria algumas rotinas para executar esses contêiner o que que ele faz o SQL ele executa essa solução aqui do gatilho pai que eu tô te falando e essa gatilho pai vai rodando os outros entendeu aí por exemplo vou te mostrar o da Ultra Gas aqui ó vou clicar botão direito eh Exibir

o histórico vou abrir asas propriedades daqui a pouco para você ver aqui ó tem Uma rotina criada que ela roda todos os dias 7 horas da manhã e ela executa cinco etapas ó a primeira etapa origem de dados Você lembra que eu te falei da sequência a segunda etapa relatório porque uma depende da outra cara você vai você vai ver quando eu tiver te explicando a etapa de relatórios e a origem a relatório não tem como executar primeiro antes da origem porque a é onde sumariza os dados da origem aí Robson Rentabilização e replicação é

isso aqui Mateus é para op e o que a gente executa na área de dados aqui o Squad x cara é um pouquinho diferente mas você sabendo essa lógica aqui beleza Quer ver Vou tentar abrir uma aqui é Quer ver Deixa eu pegar alguma rotina TM gestão de acesso gestão de acesso Se bem que ela roda C cara mas é um pouquinho diferente ó modelagem de Processos RH Trein mesma coisa provavelmente esse pessoal eles devem usar Robson também deixa eu ver se tem quando os meninos começar a me passar algumas coisas rotinas e tal eu

vou saber te falar um pouco melhor como que mas deve ser bem específico para cada área sabe eh mas enfim então Eh aqui dentro do SQL Deixa eu voltar aqui para ultr gç Peguei vou flegar ultra gás de novo já Tá flegado né Beleza então a ultra gás como eu te falei ela executa essas cinco etapas né eh através do SQL então o SQL cara é tudo de forma automática eu não preciso entrar para fazer nada única coisa que eu tenho que fazer é disponibilizar a base no diretório que eu setei então por exemplo se

eu vi aqui ó Ultragás propriedades ó o que que ele faz aqui na propriedades ó aqui na Etapas Aqui é onde ele executa ISO aqui o pessoal do configura o tipo de execução que ele faz aí tá vendo que ele faz por ISO que chama de S ó skg Services agendas aqui é agendamento o horário e aqui Os destinos aí tem uma parte cara eh deixa eu lembrar onde é velho Opa aqui tem ajuda sem querer à não é aqui não é etapas não aqui ó hum lembrar onde é ições ser que eu não tenho

acesso cara histórico Cara eu tô achando que eles tiraram o meu acesso porque normalmente fica nas propriedades eu queria te mostrar vou tentar abrir de novo relatórios não script não novo trabalho não iniciar trabalho não parar trabalho não Debi histórico não iniciar po cel não renomear é Propriedade mesmo eu queria te mostrar velho é até fala tá vendo ó isso aqui não é isso aqui que eu ia te mostrar não eu queria te mostrar eh O que cada o que cada etapa ela o é qual o diretório que ela tá puxando sabe ó o que

que ele a condição que ele passa beleza a origem rodou teve êxito ela pula pra próxima etapa se der falha ele vai sair da trabalha relatando falha e quando roda a última aqui ele sai do trabalho Relatando êxito aí eu queria te mostrar cara cara a gente criou uma rotina que disponibiliza ess deixa eu ver se tem algum e-mail aqui relatando erro a gente tem uma rotina é a gente tem uma rotina que que fala de erro sim tá mas não é naquela é uma é na replicação na etapa de replicação deixa eu pegar uma

de falha aqui pegamos mostrando as datas de atualização das tabelas fica em Replicação aqui ó falha na execução da jog Então ela fala para mim a solução que é a origem de dados naquele o proo Lembra que eu te fi do projeto o aí deu erro no gatilho projeto origem sftp Qual que é o nome do pacote que deu erro vendas single qual que foi o início da execução o fim dela e qual que é o erro que deu a mensagem de erro ó deu erro na hora de Executar a consulta deleta Não sei o

que lá falha na hora de como é que é você mja em inglês ou Não falha it é o que mesmo eh o erro na hora é erro na hora de converter né o tipo de dados para dear exatamente Então esse é o erro provavelmente deve ter sido é enfim cola de texto tentando converter para número inteiro não sei pode ser algum telefone aí ter que ter que entrar lá e olhar entendeu beber uma água Cara Mateus tranquilo tá dando para pegar pelo menos uma coisinha pelo menos 10% Beleza então vamos continuar aqui então a

nossa rotina ela roda de forma automática através dos trabalhos com o SQL o SQL executa sem precisar da gente entrar né para rodar um pacote de cada vez né esse trabalho Moroso até porque a gente não tem esse tempo cara então é tudo feito de forma automática beleza Eh falando ainda um pouco sobre as origens né a gente entendeu Então como que faz o carregamento do nosso dado da nossa tabela do nossos Excel tudo que nós recebemos para dentro do nosso banco de dados mas beleza Eh então eu tenho que ficar baixando essas bases todos

os dias é falando de base né a gente tem cara coleta api automática né o próprio sistema vai lá e coleta esses dados lá através do endp sftp a gente tem uma Rotina aqui eu não tenho nenhuma sftp para te mostrar mas a gente tem uma uma rotina dentro do próprio do sis que vai dentro desse diretório coleta lá a base e traz para dentro do nosso diretório interno aqui entendeu e estando dentro do nosso diretório interno nosso próprio Sis consegue executar banco de dados eu te mostrei que a gente pega lá uma consulta padrão

do banco de dados lá e e coloca D dentro da nossa o TXT também é o mesmo Padrão do Excel E csv aí vamos supor cara que eh vou te mostrar aqui a High plataforma por exemplo é onde a gente extrai as bases todos os dias des liar o box aqui se eu tiver falando rápido Mateus Por favor me freia cara eu eu sou muito acelerado tá tá uhum sim não tranquilo uhum tá sei cara você como você já tem já Tem essa esse conhecimento de lógica programação e tudo mais cara você vai tirar isso

muito de letra tu vai pegar isso em uma semana fácil fácil fácil ó esse aqui é o site da rep plataforma onde eu extraio a base cara eu para mim entrar aqui todos os dias extrair a gente tem um bot o bot chama ipef Porém esse bot a gente tá descontinuando ele e nós estamos fazendo essa automação através de Python então o Python através da rotina De Python a gente vem cá coleta essa informação base e o próprio Python já coloca as bases pra gente dentro do diretório de bases isto fato quando dá para automatizar

né porque existem situações que não dá às vezes uma autenticação de duplo fator eu não sei se Python aceita eu confesso que eu assim estudei Python na faculdade mas não é minha linguagem que eu sou especializado sabe E quem tá tomando conta da dessas automatizações através de p é o Emerson que você viu ontem é ele que tá pegando tá sendo um projeto novo de Python Então tá tá em criação né então o o Python vai lá o o a rotina vai lá coleta a base antes da sua Job rodar antes do seu trabalho rodar

aqui né que eu te mostrei por exemplo da ultragas ele tá sendo rodado 5 horas da manhã para coletar a base porque 7 horas já começa a rodar então a base tem que Estar lá antes de 7 horas para executar a origem aqui a base est lá dentro do diretório para executar e alimentar todas as minhas outras cadeias aqui aqui né primeiro alimenta aqui depois vai alimentando as outras cadeias tranquilo Tudo começa da origem tá então beleza Perdão eu não eu não entendi a pergunta uhum depende é aí depende quem quem olha isso normalmente é

porque depende a a demora Para estrear a base essa da High plataforma demora muito então quanto mais cedo melhor só que tem que tomar um certo cuidado Porque dependendo da plataforma eh pode acontecer de certo horário os dados não está disponível ainda então você vai ver algumas rotinas que puxa base mais tarde tem rotina que roda mais tarde eh por quê Porque às vezes depende até mesmo de extração manual você vai ver Aqui c a viia o grupo cas Bahia que eu cuido Ó tem duas Job criada ela executa duas vezes ao dia ó executa

6:30 que executa os dados da api beleza e tem os uma rotina que roda 10 horas essa 10 horas roda Exatamente porque a gente precisa extrair eh algumas bases de forma manual então se eu rodo muito cedo vou ter que logar muito cedo né então a gente coloca 10 horas que aí dá tempo de extrair a base se tiver algum erro né a gente consegue Conciliar e colocar a base lá antes de 10 horas de boa Ah então vamos lá então A Origem ficou alguma dúvida origem que que você achou curtiu já tinha visto Aham

você vai ver cara é isso aqui que é um um aí já começa todo etl né pegamos dado eh e já descarregamos aí agora e já tratamos né aqui na origem antes a gente não fazer esse tratamento mas que a Gente já tratou pro tipo de dado já coerente do dado né só descarregando igual de qualquer jeito Beleza cara agora nós vamos falar sobre etapa de relatórios vou ab etapa de relatórios vou fechar a origem aqui a etapa de relatórios é a segunda etapa então vou clicar nela aqui eh normalmente o s ele disponibiliza quando

eh daquela solução esse chama essa essa Tes né tesk que chama como é que é o nome disso aqui velho eh aplicação né aplicação executável esse executável aqui com a com a extensão chamado Solution sln aí você clica nela aqui você vai abrir a solução do relatório tirar meu boné aqui que tô Mendo minha cabeça né É porque eu fui na padaria eu esqueci de Tirar cabelo tá horroroso você lembra andando no carrinho dele é eu tenho que cortar eu nem te falo cara meu pai é cabelereiro parece que é exato tu mora em que

região velho ó tu mora perto aqui de casa praticamente V hã sei eu moro assim eh quem mora perto você é meu supervisor meu supervisor mora no o nome ali atrás da toca ali não atrás Da morava eu morava perto se camar no Piratininga Você conhece Piratininga do lado S Azul Rio Branco aquela região ali Eh vamos rap não ele mora esqueci o nome do bairro cara aqui ó é antes eh par que Bandeirantes perto do Bandeirantes aqui ó ele mora aqui ó Santa Terezinha é Santa Terezinha que chama aqui Vila Paquetá Como é que

é o nome desse bairro Aqui é aqui ó ele mora Aqui ó Santa Terezinha isso mesmo e moro no Santa Terezinha é eu moro aqui ó cadê Aqui ó eu moro aqui no Justinópolis ó uhum aqui né o tarl mora aqui TL é meu vizinho é Cara não sei eu coloquei que sim velho só que a minha esposa Ela tem ela tem os encomendas para fazer então provavelmente eu devo agarrar por caus Disso aí eu tô dependendo dessa resposta dela de transmitir tela beleza falando sobre a etapa de relatórios cara etapa de relatório ela depende

100% eh da etapa de origem rodar por quê Porque a gente vai pegar os dados da origem que a gente coletou e vamos sumarizar esse dado onde nós vamos usar as tabelas de menão Como suporte e apoio para algumas informações Apesar que que boa prática tá eh não é bom você descarregar o dado na Etapa na tabela de relat uma tabela dimensão sendo que depois quando você for disponibilizar esse dado você pode cruzar com a dimensão para você não precisar colocar um dado que você pode colocar lá no final entendeu É porque são boas práticas

eu tô ainda tô aprendendo isso o tem falado muito disso comigo por exemplo vou abrir uma aqui só para te explicar abriu da Ultra Gas menos que a gente tá falando dela ah só uma um Adendo aqui todas as tabelas elas são identificado como eu te falei pelos esquemas como identificar se a tabela é uma origem como identificar se a tabela é um relatório todo relatório ele vai receber um rlt tá vendo que é o rlt é quer dizer que essa tabela é um relatório é uma etapa de relatório ali sendo aplicada e tudo que

tem em sistema ó cara não Dropa Eita eu não rodei a eu vou dropar ela Aqui tá atualizar aqui saiu não saiu Ué eu atualize aí atualizar o B Ué acabei de deletar Ah eu deletei é drop table é só deletei os dados tava dentro dela sabe tem que dropar a tabela Beleza agora foi Não não pode dropar direto É foi vacilo meu mesmo só tem que tomar cuidado para Não apagar coisa que não Dev porque eu já vi gente apagando é eh Beleza então assim para você identificar uma tabela por exemplo dimensão recebidinho antes

do nome que fica mais fácil sem identificar tá vendo S DBO aqui cara tá errado tá esse aqui é o o sislog Ok o sislog vai receber DBO porque por padrão o quando você não Especifica uma tabela um esquema Ele criou como DBO sabe aí o pessoal foi colocando DBO aqui DBO e ficou DBO antes você vi as origem era tudo DBO cara só que aí eh boas práticas e tal nas refatorações você vai escutar muito esse termo a gente tá tudo ajustando para ficar o nome da plataforma sabe nem abreviar por exemplo R plataforma

era hii aí a gente coloca o nome antes no esquema aqui tudo minúsculo tá e a gente Aplica sempre o Pascoal cas já escutou falar Pascoal cas C cas Pascoal cas deixa eu pegar aqui tem um tem um que especifica muito bem ele aqui ó eh esse aqui é um um Camel Case a gente não usa Camel Case não tá Apesar que em alguns casos Se você pegar a tabela você identifica é um camal cas o camal cas ele você lembra Pensa num camelo não tem aquelas ondinhas então Ele começa minúsculo Tem a parte maiúscula

aqui min tudo minúsculo tá vendo e o Pascal todas as primeiras letras elas são maiúsculas tá vendo aqui ó Fed x rer colins a gente usa o Pascal cas no nome das tabelas os esquemas sempre vai ser minúsculo tá Mateus toda vez quando você for criar um esquema novo ele tem que ser tudo minúsculo e o nome da tabela tem que seguir a regra de Pascoal Case então sempre a primeira letra maiúscula e as demais minúscula Tá também C processo Viu tu vai vir como eh analista de dados Júnior entendi eh uhum entendi eh se

eu não me engano cara o novo salário de analista de dados Júnior Eu acho que pelo amor de Deus não fala que eu te falei isso não tá eh eu acho cara é porque eu não sei se se o tley gosta que fala essas coisas Para não criar expectativa sabe mas acho que é mais de três conto mano com novo reajuste Três e alguma coisa é mais que o seu salário é então é isso mesmo é É três três alguma coisa cara tem nada pô quem dera Quem me dera aham sim cara assim que acontece

a gente tá tendo essa troca de carga agora desvinculando do mis para dados tá eh uma pergunta que eu fiz pro pessoal é Se a gente vai ter troca de Sindicato porque em tese a gente é vinculado ao Sindicato de de Tel eh é de Telecom né de telemarket Telecom não telemarket então a os nosso benefício é do atendente só que a gente é da área de tecnologia e o sistema se eu não me engano é tecnologia então a gente a gente tendo a troca de de Sindicato para de fato de tecnologia que é que

a gente se enquadra que é área de dados aí o nosso benefício vai ser o mesmo entendeu É tá caminhando a Passos largos para isso tá cara amoroso ah pequenininho Mas é porque não cara mas assim o tarley né nem en chendo a bola do cara ele e o Viana cara eles estão correndo atrás demais disso porque envolve muita grana cara eu imagino se chegar para impres falar Beleza quer trocar gms para dados beleza mas que base você tem para isso então eles estão construindo isso de forma gradual sabe Mas avançou demais cara muito mesmo

eh então uhum aho uhum aham sim é muito resistente né cara O pessoal então assim aí você imagina falar de trocar de cargo Mas beleza tá funcionando para que que tem que trocar de carro para que que eu ten que Aumentar o salário do pessoal porque se trocar de MS para dados aumenta o salário então assim Eh aí eles estão vendendo através do trabalho cara única forma de provar isso é trabalhando trabalho o resultado então é Através disso que a gente tem mostrado você pega a ponta dos nossos relatórios o que a gente tem feito

mandou um teste aqui testado uhum Uhum uhum uhum é o cara sensacional um cara muito humano é eu lembro que ele usou uma palavra comigo eh ele falou quer ver deixa eu ver se eu ten ela é tá no WhatsApp ele mandou uma mensagem de aniversário uma vez no meu privado eu guardo isso até hoje cara ele que me praticamente me promoveu aqui dentro não vou falar que foi ele né Foi várias outros fatores também né mas ele teve um peso muito grande cara porque o pessoal me elogiava e elogiava para ele sabe aí evidencia

o trabalho né foi do ano passado aqui ó Feliz Aniversário n se PL que esse dia começa se que lá aí parabéns ó Não faltará empenho da minha parte para prover recursos e patrocinar a virada de Senior no momento certo aí fala dedicação e Responsabilidade são competências primárias e essa a gente já mediu faz tempo o resto a gente estuda e supera Pô você escutar isso do seu gerente Nossa velho tipo o cara falou ô beleza Vel você foi promovido para pleno Mas você vai virar sor tá ligado só gente já mediu o seu conhecimento

da nossa V Ô é um cara sensacional V tem cara tem tem isso aí cara só que assim velho uma coisa que eu sempre falo não o trabalho quem não é visto não É lembrado guarde essa frase Esse foi o meu slogan tá quem não é visto não é lembrado se o seu trabalho é evidenciado as pessoas vão lembrar de você se o seu trabalho não é evidenciado as pessoas não vão se lembrar tanto de você tá então assim cara fez uma coisa diferente mostra ó T fiz isso diferente e tal Ó que legal e

tal mostra a galera da do Squad eh fez alguma coisa diferente publica Manda e-mail evidencia sabe o teu trabalho porque eu conheço muitas pessoas cara que são muito boas de trabalho muito boas mas são pessoas mais introvertidas São pessoas que ficam mais na delas e normalmente eh e normalmente esses tipos de pessoas se você não tiver um gestor que de fato acompanha o teu trabalho de perto e a gente sabe que o Home Office o maior déf e a maior hum deficiência né do Home Office é porque as pessoas ficam isoladas né Então e se

você não tiver um gestor que tá ali do seu lado sempre e é uma coisa que aqui o pessoal ele se dão liberdade para trabalhar você não vai vai ter um reconhecimento tão rápido tá você vai ter reconhecimento Mas pode ser que ele seja demorado Então cara as minhas promoções foram muito rápidas em um ano eu virei sênior para você ter ideia para você ter ideia mas eu sempre assim corri muito Atrás e tal sempre colei sempre eu pego quando eu peguei aqui eu sempre colava nos meninos falava o que que vocês faz de legal

aí e fui anotando fui aprendendo e criando Won que é hoje então cara evidencia o teu trabalho tá se o seu trabalho for bem evidenciado eh a chance do reconhecimento chegar e rápido vai ser grande Tá é lógico que tem seu tempo né cara Cada um tem sua curva de aprendizado cada um aprende de uma forma talvez eh para fulano demora Um pouco mais para pegar essas coisas que eu tô mostrando mas tem pessoas que tem uma facilidade grande de aprender né ão sempre respeitando o processo lógico mas se você evidenciar bem o seu trabalho

a chance de vir mais rápido é muito grande tá aham mhm mhm mhm mhm mhm mhm mhm Uhum show uhum uhum entendi legal cara por tu evidenciou o teu trabalho tem mais tá V aqui possar aham muito importante tá cara eu sempre toda vez quando eu treino uma pessoa eu sempre falo isso com ela porque eh esse é um passo muito importante velho porque se você é é lógico né a pessoa tem que querer também eu já treinei pessoas que não queriam a Pessoa não saiu do lugar até hoje até hoje como assistente você tem

ideia mais de um ano então assim e eu tenho pessoas que entraram tem três eh com três meses foi promovido para Sênior ó passor para Júnior para analista entrou como assistente e virou Júnior sabe Então depende também da do interesse da pessoa porque não adianta também você querer que eh querer e eu cara se tem uma coisa que eu sou eu sou muito parceiro tá eu tenho Uma conversa antes mesmo de eu vim pro xiz eu tinha uma conversa muito eu converso muito com o tarle eu converso muito com as lideranças e e quando a

pessoa eu vejo que a pessoa tem potencial eu vendo o peixe dela eu falo que eu às vezes eu vendo o peixe mais que até mesmo supervisor da pessoa sabe então assim se eu vejo que tem potencial fala t essa pessoa aqui cara tá totalmente interessada tá absorvendo bem e tal que não sei o quê pode dar chance Enfim eh ô Mateus tá quase na hora do almoço eu não a etapa de relatório eu vou te explicar depois do almoço também para não ficar uma coisa muito em cima da outra só te mostrar pode falar

comprar um corante rapidinho aham uhum pode tranquilo eu só tenho reunião que que você quer eu tenho reunião 3 horas da tarde cara com se você quiser participar da reunião não tem problema Não eu vou apresentar um relatório apresentação tá deixa eu só ver que hora que é 3 horas da tarde isso mesmo é com planejamento Oi filho te mostrar aqui alguns relatórios que eu já fiz e foi esse aqui foi um início quando tava iniciando eu não foi nem inf figma que eu fiz Tá mas tava iniciando a a caminhada eh isso aqui foi

tudo por rbi esse aqui foi um dos primeiros aí o pessoal pegou esse relatório aqui até Como base para fazer relatório de pa aí esse aqui foi um dos primeiros quando eu tava começando a engatinhar e tal aí depois quando eu comecei a usar o figma o primeiro que eu possuí foi esse aqui ó é tipo uma é um não chega a ser um photoshop mas é onde você consegue manipular melhor as os não pode não senta lá para você assistir sobe lá no sof assistir papai Vai lá agora assistir com vocês Tá pera aí

é onde você consegue manipular melhor os os elementos e sabe você consegue dá uma versatilidade um pouquinho maior é aí beleza esse daqui foi um dos primeiros que eu usei tudo através de figma assim o layout né através de figma ele é todo eh é um relatório sim é é porque a gente é na verdade você não n não é uma ligação direta você expande por exemplo você Cria aqui um layout que você quer você vem cá clica em exportar e coloca como tela de fundo dentro do seu relatório entendeu pera aí deixa só exato

aqui ó cadê cadê beleza aqui essa aqui é é um relatório gerencial uhum a aham uhum aham aí é tudo cara tudo dinâmico tudo Com ó isso aqui tá depois tem que mexer nisso aqui provavelmente mexeu em alguma coisa e e ficou saiu fora do do agrupamento é aí é aqui tem aqui uma visão gerencial cara que foi feito na época e cara é tudo dinâmico tipo a pessoa monta o gráfico que ela quer por exemplo se ela quiser ver somente na linha segmento ver somente por exemplo uma coluna específico só ela monta do jeito

A ideia desses relatórios nossos é como se fosse Pensa num restaurante um CBI tu vai montar o que você quiser por exemplo aqui ó eu tô vendo por data aqui mas se eu quiser ver por ano Ah quero ver pro intervalo do dia por exemplo os intervalos aí tu monta aqui ó tá na coluna tá recebidas e na linha tá recebidas planejadas Mas se você quiser colocar por exemplo tma na linha aqui e quiser colocar o tma planejado por exemplo tma planejado tu monta tá vendo Que ele dá uma versatilidade maior usuário tipo não fica

engessado tipo uma visão só e dá a possibilidade de montar o relatório de acordo com a sua necessidade naquele momento esse aqui uhum isso aham perfeito uhum uhum uhum perfeito perfeito Tem tem temo para todos os públicos a é importante entregar Informação de forma clara e objetiva mesmo tá aí são públicos diferentes cara por exemplo esse aqui é um relatório de monitoria que eu construí naquela mesma pegada e não chega a ser tão analítico não tá É porque parecendo tem muita tabela aqui mas é não ele traz a informação porque tinha muito muita frase eh

mas tudo é tudo responsvel ó tem dica de ferramenta onde você parar o mouse aqui vai ter dica aqui tá aqui tem não Aqui eu não coloquei mas aqui também a monto gráfico nós temos informações muito texto dinâmico por exemplo aqui ó eu não preciso Às vezes você olhar aqui beleza tô olhando 206 a performance 206 presencial e 120 Home Office mas eu tenho um texto falando que o desempenho do time presencial tem uma performance 71 maior do que e o Home Office então assim e textos dinâmico traz insides em tempo real cores dinâmicas que

a pessoa só bateer o Olho já sabe se tá dentro ou fora da Meta Apesar que esse aqui não tem tanta meta vou te mostrar um Esse aqui foi um dos últimos que eu construí não foi outro ali pera aí esse aqui ó esse aqui foi um dos últimos Se bem que tem um outro ali também esse aqui é um gerencial digital tá tá vendo tanto de cor condicional que mostra tipo se tá dentro da Meta ou não variações entre os meses aqui eu tenho por exemplo indicador de recebidas Versus o mês anterior eu tô

2% abaixo da da do mês anterior válido lembrar que é o mês é a gente tá um mês parcial né no mês atual mas se eu clico aqui eu trago o resultado dos últimos 4 meses Isso aqui é uma extensão de html ó essa essa visão que também não é HTML estamos implementando ainda não é não tá 100% ainda é porque ainda tem algumas altera que a gente tem que fazer e Tal esse aqui tudo Esso aqui é tudo figma ó essas o fundo aqui é figma tá vendo tá com degradê tudo usado com figma

o ícone ícone esse ícone não é padrão do powerbi eu troue através de Jon trazendo por tema essa aqui é uma visão que tem que fazer ó eu tenho a diferença entre os meses o desvio tá vendo o resultado do mês atual versus o meses anteriores com seus desvios então só com cor condicional você sabe se tá dentro tô fora da Meta Eh um outro relatório último que eu construí esses aqui foi a cor do cliente tá então por isso que a paleta tá meio diferente do setor tem esse aqui experiência do cliente também que

isso aqui é é pesquisa de cessat NPS ess aqui também foi uma algo bem específico do produto cara ele traz as notas a média de nota para pro digital e voz do zoom aqui só para tu ver isso aqui foi bem bem específico e tem um outro Que eu possui agora foi o da viia que eu vou apresentar hoje sabe é esse aqui ó é o de produtividade onde entra aqueles grupos G1 G2 sabe aí era uma visão também bem específica que eles pediram Então existe alguns visuais aqui que eu tinha que replicar do time

eh por exemplo esses grupos aqui manhã tarde noite vou te mostrar como que vem o que que a gente tem que fazer Qual que é o nosso desafio Cara eles me deram esse relatório aqui Para replicar aí aqui que que eu fiz Eh aí tem aqui né Fiz um menu um pouquinho diferente filtro de mês aí eu mostro a última vez que o relatório foi atualizado aqui eu tenho um filtro retrátil aqui eu tenho uma apresentação do relatório dando BO boas-vindas e tal aqui tem os indicadores versus O desvio né condicional do que é planejado

tudo em bi cara a única coisa que não tem nada HTML tá tudo em bi e eu Usei figma né o figma para usar o o background que você tá vendo aí Aqui tem eh uma variação entre de atendidas e e aqui é uma média né e de atendidas versus a meta que o cara tinha então aqui eu consigo alterar tanto o segmento né que tá sendo exibido quanto também nesse gráfico aqui aqui que tá sendo exibido por semana mas eu poderia colocar por dia da semana por exemplo porque eu tenho resultado segunda terça quarta

quinta e assim sucessivamente e Com corro condicional mostrando se eu tô abaixo da Meta ou acima da Meta aqui eu tenho turno performance geral aqui eu tenho a texto dinâmico ó abriu ó eu tô tá flegado aqui o loja física Aí eu falo o grupo que a loja física tá e eu falo a performance do time de loja física está classificada como G1 alcançando o percentual de 14% acima da Meta com a média de 43 segundos de tempo falado destaco para o turno da tarde que tá como G1 que Está Contribuindo significamente com 36% da

entrega por outro lado o turno eh o turno com menor desempenho é noite com apenas é porque aqui tá zerado tá ele tá sem eles estão sem resultado então assim isso tudo de forma dinâmica se eu altero aqui pro saque por exemplo e se tiver alteração de mes se um classificou para baixo é tudo dinâmico então isso tudo através de dax a gente faz entendeu Ó o saque já tem noite tá vendo ã eí aqui aquele mesmo padrão lá Que eu te mostrei de de montar da forma que a pessoa quiser se quiser ver por

turno se quiser ver por grupo e tal consegue ver pera aí aí beleza aí os outros aqui microgestão que é para fazer gestão tipo se o cara quiser ver o resultado do time dele por exemplo quero ver dessa Andresa Oliveira aqui aí eu mostro o grupo que ela tá o subgrupo aqui uma tabela né para mostrando resultado da semana do dia Dela aqui eu mostro o turno tempo de casa que ela tem segmento e aqui o resultado dela ela tá realizando 34 e a meta dela era 28 Então ela tá 20% aci da Meta classificando

ela como G1 e eu que resultado dela por dia a aqui a mesma coisa que eu posso alterar por dia semana por semana ver o resultado dela por semana e que ela tá performando tudo de forma dinâmica tá vendo e é isso esse é um assim tem vários outros né Tem vários Vários Vários relatórios mas esse é um dos que a gente faz quer ver te mostrar um do Bruno ausência Esse aqui foi o Bruno foi o Bruno que construiu mostar um que o tarley fez que ele usa HTML bem legal cara eu usei no

meu só que eu não gostei porque o HTML ele não interage com os os os relatórios que ficam com os visuais nativos do PBI sabe você não consegue filtrar aqui é um do Bruno que O Bruno fez ó ó Isso aqui é HTML ó quer ver vou carregar a página de novo aqui ó ele ó essa aqui ó carregando viu a animação aqui também tem ó esse aqui o tard que fez para ver quee tem animação viu que ele tem essas animações entrar sair carregar só que você não consegue filtrar todo o relatório com ele

se fosse um um um por exemplo jp2 se eu clico no jp2 aqui ele não interage com nada no power Bi tá Vendo aí é isso eu isso esse aqui era o relatório cara que eles me deram esse aqui é o que o pessoal consumia os grupos vou pular filha Pera vou pular pera aí aí é isso aqui ó grupo simulador geral individual e o simulador geral aí a gente tem cons o relatório Eles mostra aqui pra gente a gente vai lá e tem o desafio de construir um relatório e disso aqui saiu aquele outro

lá e o que o relatório que Eu fiz pro processo foi esse aqui ó que eu passei para entrar no Squad x eu tive que desenvolver o relatório do gestão x cara cara Gosto um pouco sério eu curto Cara eu não sei dos Anéis eu tô pegando agora para assistir mas Harry Potter eu curto Ah muito bom pô é um desenho que eu curtia para caramba Você lembrou dele e que não teve Continuação a série Os caras Não colocaram paraa frente filme esses Trein Super Choque desenho Era maravilhoso cara no para mim é muito boa

cara os caras tá perdendo grana mano perdendo grana grana grana é esse aqui foi o relat que eu construí pro pro processo ó esse aqui foi o relatório voltado eu usei HTML aqui porque como eles tava Medindo o nosso conhecimento eu falei Ah então vou usar HTML né é aqui ó só se eu se eu passar o mouse é como se fosse um site ele já expande a informação tá vendo aqui tá carregando esse quadrado aqui é porque tá dentro do Power bi dentro do do orb não D essa aqui HTML eu tinha usado as

barras para preencher também só que eu não gostei aí o relatório é todo dinâmico também na mesma pegada altera esses gráficos altera esses gráficos de acordo Com a necessidade eu levei numa pegada quando Constru uma pegada mais de onda esse relatório meu tá tão pesado que ele tá dando erro ao rizar aqui também a visão microgestão para saber fazer um um feedback do do cara lá que se por exemplo o Adrian aqui é mais tá com backlog na época personalize né que é o padrão que eu já te mostrei o Glossar e é isso aí

ô o Mateus na volta cara acredito que lá pras eu devo voltar umas duas aliás 1:30 me30 é quase 2 horas eu volto aí 3 horas eu te chamo pra gente eh apresentar o relatório beleza não eu não marquei inv invite não porque eu só que tava conversando com a menina e não teve invite sabe esse mas aí eu Te puxo na hora beleza Mateus tô fechou bom almoço viu velho valeu abraço Tamo junto cara valeu falou tchau tchau