IN - 25-08-2021 - ETL

E aí é bom pessoal boa noite quarta-feira 25 de Agosto 2021 é Universidade Federal de Uberlândia curso gestão da informação disciplina inteligência de negócios criar conteúdo que nós estamos tratando é porque a gente vai dar né Nós já estamos há algum tempinho com a disciplina o conteúdo que até então está em vigor né está que tem entregas para fazer é a Modelagem multidimensional então tem algumas atividades a serem entregues dentro de um cronograma que nós propusemos e a gente agora tá passando por uma nova etapa né então depois da modelagem multidimensional nós estamos passando para

fase de GPL não é de nós trabalharmos agora com a parte do dia ter ele eu vou compartilhar uma outra tela aqui também para gente trocar algumas ideias aqui tá quem é Eu lembro um a da nossa trilha do ciclo de vida de Biaggi Ok então retomando a nossa a nossa trilha o que Lembrando que que nós temos nessa trilha se o que a gente tem que consultar sempre né Nós temos a primeira parte tá aqui vocês entregaram da atividade do trabalho que é escopo problema definição ensine aos requisitos Então essa foi a primeira parte

nós abrimos mão dessa trilha tecnológica né nós passamos sugerimos Algumas ferramentas alguns ambientes mas é sugestão não não significa que tem que ser seguido né então por exemplo Amauri ele está seguindo um caminho um pouco diferente ele tá configurando ambiente as nuvens está utilizando as ferramentas da Microsoft Sem problema nenhum 10 né não tem problema nenhum então quem não tiver aí é legal usar o que a gente recomendou Mas quem tiver sem problema algum 100 problema e aí o que que nós em qualquer etapa que vocês estão Desenvolvendo as atividades fazendo os exercícios e a

gente volta já decidi Beck tem algumas coisas para vocês a gente está trabalhando com a modelagem Dimensional né a partir do modelo relacionar o clássico que a gente tem aí nós discutimos A modelagem Dimensional então nós fizemos uma série de exercícios E vocês estão Caminhando com o trabalho do módulo trabalho da disciplina de vocês né então o que que nós temos que nós vamos abordar agora Nós vamos abordar é TL projeto e desenvolvimento gtl Então a gente vai começar a falar disso aqui hoje até ele né até é uma parte importantíssima da desse desse mundo

de bi ai né então esse modelo esse Framework de bi ai é um fêmea ou inclusive da Microsoft e o que que a gente fez Então na verdade nossa é meio que né desenhamos essa parte aqui olha só nós e vamos essa parte aqui e Mais especificamente né no nosso micromundo aqui no nosso micromodelo nós Estamos focados muito em desenhar o nosso né que a gente tá chamando aqui diretor House obviamente que é uma situação miniaturizada né para ser considerado o Dr House is then sabem fazer viram já leram né que tem algumas características dados

de diversas Fontes integrado só tipo longo de uma série de características mas nós estamos fazendo um mini leitor House o nosso contexto aqui e vocês é é mapearam buscaram algumas bases de dados Algumas Fontes que é de onde vocês irão fazer o trabalho de vocês tá de novo né a gente tá fazendo uma situação bem miniaturizada então a gente tá pegando um banco de dados por exemplo uma base idade e agora o que que nós temos né Nós temos o di eu pude a origem da esse de origem é de origem Oi gente origem e

nós temos aqui um para e é de de uma origem para O destino que a gente chama aqui né para destino então o que que nós temos aqui estou gravando isso né e o que é que nós temos aqui tá então nós temos essa essa origem né o que nós mapeamos o que nós descobrimos e nós temos que fazer o quê agora nós temos que nós desenhamos o nosso destino Nossa planejarmos o nosso destino nós temos que transportar os dados da nossa origem para o nosso destino e com para a gente Fazer isso o que

que a gente faz a gente vai usar algumas das Ferramentas GPL então né então antecipando algumas respostas a algumas dúvidas Professor posso usar Python posso usar outra linguagem de programação posso usar script de SQL para fazer essas cargas diretas a resposta é não a resposta é não porque porque nós é pode ser qualquer ferramenta é TL o que a gente quer ver quer trabalhar é explorar os conceitos De ferramentas é TL tá então a gente quer explorar todos os E aí quando a gente está utilizando uma ferramenta da categoria né dessa classe DL ela ela

carrega em em si qualquer uma delas né carrega os principais conceitos de SL então é para gente usar uma senha cdfl né O que a gente está recomendando aqui para quem não tem é usar o pentaho Data integration PDI mas para quem tem então né O Amauri de novo um exemplo né ele Vai usar lá o data integrator provavelmente lá da Microsoft então Sem problema nenhum sem problema pode usar qualquer um mas é para usar uma ferramenta é TL tá então é essa ideia e aí o que que a gente tem eu vou mostrar um

pouquinho hoje né o uma ideia uma noção Geral do pentaho data integration um dos caminhos dos atalhos de algumas coisas quando que a gente trabalha com isso e para gente fazer isso e tem uma atividade que agora eu vou mostrar aqui No mudo e você sabe que o mudam G1 E aí oi oi amor bom então na nossa disciplina aqui no Moodle é eu disponibilizei aqui agora é a essa parte aqui dia TL então tem todas as aulas é do do período anterior tá de 2021 01 deste primeiro semestre passou então são as quatro horas

gtl eu já Disponibilizei aqui uma atividade de agente trabalhar com essa l então é essa atividade aqui o que que a gente tem nessa atividade eu disponibilizei para vocês dois dois dois arquivos né tem a especificação do trabalho e tem a base de dados que será a entrada o input né para para gente utilizar o SPL Então nesse trabalho aqui o que que o que que vocês precisarão fazer o quê que é esperado de você está se eu achar aqui e onde está A sua instantinho e o que que é para fazer vocês vão criar

essa estrutura em um banco de dados então pode ser né é eu sugiro para quem não tem Eu sugiro criar no mais Kelly né que a gente tá trabalhando tá trabalhando aí um pouquinho com mais Kelly então vocês vão criar essas tabelas criar uma Instância de banco de idade e criar essas tabelas tá é novo banco de dados Então não é uma Modelagem é para criar oito tabelas e não é uma modelagem multidimensional não é uma modelagem convencional normal tá então é isso aqui é só para gente exercitar para a gente participar a URL é

exercício de até l a gente vai criar uma base de dados Então qual que é a nossa história aqui tá então o que que a gente tem o que que a gente vai trabalhar aqui é o que a gente vai trabalhar aqui é o Seguinte olha só e a e eu tô passando por vocês um aquilo uma base tem uma base que ela está em Excel bom então eu tô passando tem um Excel e tallita e a partir tô passando né a especificação para vocês criarem aqui um banco no banco de dados bom então esse

aqui pode ser em mais que ele pra quem não tá trabalhando com outro banco Inclusive eu recomendo aí o que que a gente vai fazer né Vocês vão Ter que olhar eu estou passando aqui olha só eu já eu já defini para vocês o que que as tabelas tem que ter né Quais são os campos Quais são as colunas da tabela Então a gente tem uma tabela né de ordem de serviço do motivo da ordem de serviço do tipo da ordem serviço número da ordem de serviço então eu já passei aqui tá os olha motivo

da ordem de serviço tipo da ordem de serviço ordem de serviço produto filial forma de pagamento Contratos de clientes Então as tabelas que tem que ter no banco cidade São essas tabelas aqui e aí o arquivo Excel ele tem este layout aqui então desse arquivo Excel vocês vão ter que construir as aplicações linhas né o a se transformar a GPL dos programinhas para extrair os dados daqui e carregar nessas tabelas aqui então a gente vai praticar coisas como extração ou e extrair da planilha Excel a gente vai ter que fazer transformações porque esse arquivo tá

Assim Olha só e esse aquilo que a gente vai trabalhar e ele está nesse formato aqui querer é esse aqui G1 e esse aqui é o arquivo Olha só então a gente vai extrair desse aquilo que tá tudo junto tudo misturado nós vamos ter que extrair daqui por exemplo eu vou ter criar uma tabela motivo de Oeste então é essa serão as linhas da tabela motivo de Oeste Olha só então ele tem esses tipos De motivo de US tem outra tabela Que tipo de os então tem manutenção preventiva e suporte técnico São dois tipos de

US Esses são os produtos Então tá aqui os produtos que nós temos é Estas são as filiais Então tá tudo junto tá tudo no arquivo só então é essas são as formas de pagamento Então o que a gente vai ter que fazer tá a gente vai ter que ler processar e extrair desse desse arquivo para gente fazer as cargas nas Nossas tabelas que nós vamos trabalhar que nós vamos tratar aí tem um detalhe E aí eu vou já começo também que é o seguinte olha só é final o que a gente tem o seguinte Olha

só na nossa tabela é [Música] cliente tudo bem eu tenho só eu tenho que processar que eu tenho código do cliente eu tenho quantidade de contrato que o cliente tem idade do contrato mais Antiguidade do contrato mais recente a quantidade de Ordens de serviço foram efetuados pelos clientes aqui aí a hora que eu pego a tabela contratos eu tenho código do contrato o código do cliente então o que que tem que acontecer antes de carregar a tabela contrato eu tenho que ter carregado a tabela cliente que o código do cliente é chave estrangeiro na minha

tabela contrato a gente tem aqui olha só o código da forma de pagamento Então antes de carregar a tabela Contrato eu tenho que carregar a tabela o pagamento eu tenho que criar a minha tabela forma de pagamento e observa em que aqui olha só eu não tenho um código de forma de pagamento não eu tenho aqui só o nome da forma de pagamento então o que que nós vamos ter que fazer lá na nossa tabela né eu vou criar uma tabela de forma de pagamento e eu tenho que criar um código para cada uma dessas

formas de pagamento que vai ser a chave da tabela da pode ser inclusive com auto Incremento tá igualmente a aumento com incremento automático mas a gente vai ter que ter essa tabela lá então nós vamos ter que carregar criar essas tabelas né e carregar essas tabelas primeiro porque depois nós iremos usar né a chave do Código Da forma de pagamento é o código da filial o código de produto tudo isso na tabela é na tabela contrato e o a carregar a tabela os né eu tenho Então a primeira tem que Carregar a tabela contrato tá

vendo que o código do contrato é chave da tabela Oeste eu tenho que carregar o código do tipo igual a essa e o código não tive não é essa então eu tenho que criar também essas duas tabelas primeiro e carregar essas duas tabelas primeiro porque depois nós precisamos deste código tipo de o s e o código do motivo da USP para carregar a nossa tabela essa Ok então isso aqui para vocês fazerem é aí como que você o quê que vocês vão Entregar vocês vão produzir evidências que vocês fizeram né então uma das evidências tabelas

criadas o banco boletinho tá outra evidência os os os jovens as transformações que vocês fizeram print desse Jobs outra evidência os dados carregados lá na no banco ainda vocês vão é o que vocês vão me entregaram vocês vão mostrar são evidências de que você e as cargas direitinho na na tabela sem que vocês fizeram isso utilizando e TL tá então Isso está disponível lá já no mudou então tá lá disponível para vocês e tem também agora já tá obviamente que tem né o prazo de entrega é meio sequência senhor sim tem alguma ferramenta específica dtl

que você vai querer que use ou fica questão de escolher eu sugiro o pentaho data integration Mas você pode escolher hoje se você quiser não tem problema não Beleza beleza obrigado tem que ser é TL mas pode ser qualquer uma tá E é aí tem outra lista de exercícios tem a segunda lista de exercício e tem etapa a outra etapa do trabalho final Então essas coisas já estão né Tem alguns exemplos de transformação aqui tá para vocês isso aqui esses exemplos tá estão em carro da 30 igreja tá então arquivo extensão QTR Então quem for

é utilizar o penteado da 5ª igreja O que é só baixar e abrir ver o exemplo dessas coisas como são feitas Então esse está disponível aí para gente Ok É pois bem eu havia colocado aqui para vocês também né o link para soluções de GPL para uma série de coisas tá então já estava disponível aqui para vocês também então pode ficar à vontade para para usar o que quiser né para quem não tiver rumo aí vamos fazer com pentaho data integration porque aí é mais recomendado porque primeiro que é gra os maiores problemas segundo que

eu Domino A exatamente bem então eu consigo ajudar tá então tem essas Vantagens tem essas questões OK Ah pois bem então vamos lá a gente tá falando então do dessa desse ambiente de ctld como que essa coisa funciona tá para quem for utilizar o pentágono data integration aí a gente né a gente vai procurar isso aqui para fazer download Te dei Eu acho que eu mandei inclusive peguei perguntar o download Eu acho que eu mandei inclusive e o link para vocês então a gente pode baixar isso aqui do só Form download então é basta a

gente fazer o download aqui tá é não é para gente usar para quem quiser é e tem a versão para windows em outras versões o detalhe o que que acontece tá quando a gente faz o download do Pedro carro da tinta igreja tá é e não é exatamente uma instalação que a gente faz não quando quando a gente fizer o download tá então o que que gera O lupa que aberto o que que a gente gera Olha só quando a gente quando a gente fizer o download disto o mostro aqui para vocês E aí Oi

Google E aí ah ah eu tenho uma pracinha aqui olha que eu chamei de pentar Lu e aqui eu tenho né os cinco seis sete oito nove tá então algum tempo que eu trabalho com Isso então tem desde a versão cinco até a versão na hora de cada vez que passa né que que tem de diferente de uma versão para outra é na verdade o que tem aqui novas funcionalidades novas filtros novos módulos eles vão sendo acrescentados Então vai evoluindo né vai as coisas vão caminhando vão novos recursos e novas funcionalidades vão ser desenvolvidos então

quando a gente faz o download desse negócio a gente baixa um arquivo Assim olha Cadê olha um arquivo compactado tá eu e né Por exemplo a versão 9 é um arquivo de um ponto 7 GB esse da versão nova do cabo da versão 8 é um 1 Giga e o das versões anteriores arquivos menores e quando a gente baixa a gente baixa esse arquivo zipado e a instalação dele não tem um instalador não tem nada disso a gente vai descompactar esse arquivo em um diretório qualquer aí no caso aqui Eu organizei né eu descompactei eu

disse Ele cria essa essa pastinha aqui olha só ele cria uma pasta desta PB isso e e o código do da versão que a gente tiver fazendo o download tá então a gente não instala a gente diz compacta tá o que a gente está fazendo é descompactar ao descompactar ele cria essa estrutura para gente que a gente pode deixar assim ou não Oi e aí o que que nós carregamos tá nós carregamos esse arquivo quando eu executo eu executo esses ponto bate tá Sessão nova vocês não lembram disso né mas esse esse beh eh arquivo

em lote lá do antigo dos Estados Tema operacional dose então quando ele para eu executar o software eu basta ele clicar nesses ponto br Eu por acaso né Eu no meu caso eu creio um link para minha área de trabalho Olha só então eu criei né esse arquivo aqui olha só eu estou executando né esse arquivos um ponto br é isso por enquanto bate tá então eu criei aqui na minha área de Trabalho um link para aquele arquivo lá e esse arquivo Quanto bate né O que que esse aqui você aqui vem um arquivo de

lote é um arquivo de de processamento de comando em lote tá esse arquivo pode ser editado e eu vou aqui mostrar para vocês eu vou abrir com esse pé palito Edith aqui tá só para mostrar para vocês ele é um arquivo executado tá então é um arquivo lá né originário lá do sistema do sistema gosta tá então o Que que a gente tem aqui olha esse nesse arquivo contra o batpod eu posso criar esse tipo de arquivo para controlar ambiente execução uma série de coisas tá as linhas que começam com RM Hamm é só comentário

então para eu comentar neste ambiente. Bate eu coloco começa a linha como reino esse arroba e Coffee ele tira ele é anula né ele inibe ele desabilita o processo de mensagem então eu começo certo louco aí eu eu mudo de direto eu vou eu vou dando Comandos né eu vou fazendo cocô bom então eu mudo para o diretório para o drive de então né Isso aqui tudo são questões que é que são configurações de teste se o arquivo está em determinado diretório ou não é se existem variáveis criadas e etc etc talvez em algum momento

uma coisa que possa dar algum problema para vocês é que dependendo tá ele ele dependendo da versão dependendo de algumas coisas aí a gente coloca aqui a quantidade de Memória e às vezes essa memória é pouca às vezes não dá às vezes a gente precisa vir aqui e aumentar a memória Nessa versão aqui eu acho que não tem não mas tem algumas versões que que a gente precisa de aumentar memória tá e ele tem essa 64 e 32 bits algumas coisas aqui que são testadas mas nesse caso aqui e eu acho que não é que

nesse aqui a gente não está Trabalhando com alocação de memória mas enfim são comandos da dependendo da versão que vocês tiverem utilizando esse aqui é um problema tá esse aqui às vezes a gente precisa de entrar e editar fazer algumas coisas aqui tá é bem então a gente roda esse arquivo. Bate. B a t e Esse é o pentaho data integration ele roda né gente precisa de utilizar o Java aí ele tem que ter o Java instalado na máquina para gente rodar o pentaho data Integration e às vezes o que que acontece né a gente

tem que criar duas variáveis ou modificar algumas variáveis é para o nosso programa rodar direitinho então para quem já trabalhou sabe como é que faz para quem não nunca viu não trabalhou né é a gente tem aqui é vai variáveis do sistema né então editar as variáveis que que eu cliquei aqui embaixo Olha só variáveis eu comecei a digitar variáveis e a gente tem que opção editar as variáveis do ambiente do Sistema então né nas variáveis de ambiente hora que essa telinha aqui aparece a gente tem aqui embaixo Olha Só se não tiver tá então

eu criei a minha variável Java on e eu passei aqui o endereço o Java está instalado o Java Jr e tá então é esse Java aqui tem que tá instalado então eu passei o diretório é onde esse Java tá instalado então a minha tem que ter a variável com esse nome java-home porque tem que ter a Variável com esse nome não sei se vocês viram observarão aqui tá mas é dentro dos pontos bate ele procura por essas variável Pentágono Java Java home é quieta Aldir tem algumas coisas aqui ó já vamos tentar java-home então usava

ontem ter a gente tem que ter essa variável se ela não tiver no nosso nosso ambiente de variáveis outra variável que nós precisamos ter criar se não existir é o pen Tarro Java como também preciso de passar então eu tenho que ter o Java A variável de ambiente Java ó e o conteúdo né da e dessa variável Java on é a mesma coisa olha só e aqui então eu tenho também né no pen Tarro java-home onde que está instalado usava então eu né se não existir eu crio essas duas variáveis e o valor que eu

passo para essas variáveis Deixa eu fazer só uma coisa aqui para facilitar a vida de vocês né então por exemplo aqui agora vocês tão vendo tentar javahome então o que que eu tenho nessa variável o nome Da variável pensar java-home e o valor da variável é o diretório onde que o Java Jr e estiverem instalado Ok e o outra variável que eu havia mostrado eu já vamo então é mesma coisa tá então o conteúdo o valor dessa variável é o diretório onde que que o Java estiver instalado Ok feito isto E aí provavelmente é nós

estamos agora preparados para para usar o pentaho Data integration tá então a gente Configurou a gente criou variável né gente baixou criou variável fez a história toda aí aproveitando que eu já estou aqui e eu vou falar uma outra coisa para você está é muitas vezes é para ir dependendo da versão do banco de dados nós estamos trabalhando de qual banco de dados a gente precisa de baixar o conector com banco de dados então para para o [Música] My SQL e deixe-me ver aqui e o O que é a 4L e é aqui espero que

sim e dependendo da versão que a gente for utilizar eu tô com oito data integration in e não costuma vir junto tá E aí o que que a gente tem que fazer olha só e A gente precisa ir lá na página do do mais Kelly por exemplo e baixar esses conectores tá então eu tenho que eu tô com dois né Eu tô com mais Kelly connector Java eu tô aqui com 5 e com oito depende da versão que a gente tiver Então a gente tem que baixar esse conector e isso para qualquer banco de dados

da para qualquer banco de dados e gente utilizar é necessário baixar esse conector esses conectores para gente por é utilizada Que a pouco vou mostrar para vocês para gente conseguir conectar o nosso o nosso o nosso pentaho data integration com os bancos de dados dá para gente ler dos bancos de dados ou para gente gravar nos banco de dados então a gente precisa de ter os conectores e esses conectores eles têm que estar nesse diretório tá Então olha só dentro do diretório que vocês descompactar em um centavo tá então tem o diretório Lib então o

diretório é o líder tá então Dentro do diretório que tiver instalado esse negócio tem o diretório Lib e dentro desse diretório lide aí por exemplo não é para conectar com mais que Elle então aqui eu tenho my SQL conector e se fosse com SQL server então tentei o SQL server conector e se for com uma hora tem que ter o hora conector Então depende do do banco de dados é necessário ter esses tem algumas coisas que já tem os conectores nativos aqui tá Para alguns a gente precisa de pegar e baixar esses conectores é para

gente conseguir conectar com os bancos dá a gente for trabalhar então de novo onde que a gente baixa pega o conector lá na página do My SQL da do do órgão mais Kelly lá tá então e onde que a gente coloca esse conector o Vitório que estiver descompactados eu pentaho data integration seu PDI dentro da Bíblia da pastinha Lib são desconector lá beleza e aí tem as vezes Né Tem versões que não se falam a gente precisa às vezes testar outras versões mas esse é o caminho para para gente trabalhar com isso ok então bom

aí depois feito isso esse que eu estou abrindo aqui é o oi tá esse nove eu baixei mas cada versão até ela ficar estável a gente tem umas dores de cabeça aí Então a versão que eu estou carregando é a versão 8:00 aqui eu estou abrindo aqui demora um pouquinho é pesado consome bastante recurso a Máquina por quê Porque ele precisa do jovem Então na verdade abre o Java carrego Java e depois que o que nós abrimos carregamos o Java aí que eu chamo a aplicação que eu chamo tentar da tinta igreja tá então consome

o recurso considerável da Ah tá mas não vamos sofrer não e é isso mesmo né carregando aí só um instantinho e eu já tinha mostrados para vocês lá nas primeiras aulas mas agora a gente Começa a detalhar isso mas tá bom então gente tem uma série de coisa que a série de tabelas que eu mostrei pra vocês tá esse é o ambiente do pentaho data integration tá então quando vocês abriram né quando vocês abrirem quando vocês estiverem com isso configurado e instalado der certo hora que a gente visitar a gente abre é essa é a

tela que a gente abre tá do pensar da 5ª igreja então o que que a gente tem aqui deixa eu ver se eu consigo Esse é o que a gente tem aqui é o seguinte Olha só Então desse lado esquerdo aqui olha só é a gente né eu vou criar um a ideia do do Zé TLC do do do pentáculo da 5ª igreja tem a mesma tá É como se eu tivesse escrevendo um programa no código de programa então É como se eu tivesse escrevendo um programinha em Python Como se eu tivesse escrevendo programming in

Java e6e mais mais por trás aqui do do carro daqui da igreja não rola ou a roda O Java né então tudo que a gente já era aqui no final das contas gera código em Java Tá mas a gente não tem que saber já alma não tem que saber exatamente programação é bom saber a lógica é bom saber como é que funciona mas a gente não tem que necessariamente saber saber programação para trabalhar com pentao da tinta igreja tá então a gente pode criar um programinha novo eu posso abrir um programinha existentes tá então quando

eu vou criar um programa novo eu tenho Essas duas opções para que a gente vai trabalhar eu tenho a opção de criar um Job ou eu tenho opção de criar uma transformação transformation Qual que é a ideia dessas duas coisas aqui tá a principal ideia que está por trás dessas coisas aqui é o seguinte e o que que a gente tem aqui olha só quando a gente vai criar e a gente tem opção aqui de criar Então olha só É é é e a gente tem opção quando a gente vai criar os Nossos programas tá

a gente tem a opção de criar e é uma transformação e o a gente tem a opção de criar um Job Qual que é a diferença disso O que que é como que funciona tá uma transformação é um programa simples é um programa simples é um programa é uma unidade de programa é um programa simples e o job tá quando eu tô criando Um jovem para quem já é da área um pouquinho para quem já conhece né um jovem é um programa mas é um programa de dancinha ele é um programa mestre tá então é

um programa mestre e Como assim como um programa mestre é Imaginem o Iago né ele tá automatizando tudo lá na empresa dele então onde estamos plantando biya estão construindo de Heitor House e etc etc e é todos os dias 11 horas da noite ele vai ler todos os sistemas o que aconteceu durante o Dia e vai fazer a carga vai levar isso para o ambiente dele de biya e por um ambiente de deixar os dele tá então o que que tem né Ele criou e tem né no no pen tá ruim qualquer e qualquer ambiente

que trabalha com isso tá ele criou né preparou preparou infraestrutura dele e ele tem um Job que se dobre né É tem algumas sentinela depende do ambiente da ferramenta do que que é que fica em um determinado servidor e fica no ar o tempo inteiro rodando às vezes né O que Estar Tá esse programa é o relógio Então a hora que der por exemplo 23 horas tá bom então a hora que dá 23 horas é o programinha o P1 que é o programa principal ele começa a rodar o pai então é hora de rodar então

o que que esse peão me faz né ele ele chama é o SP algum PS1 aqui o que que esse PS1 faço por exemplo esse PS1 ver se tem alguém conectado no banco de dados eu houver conexão no banco de dados eventualmente assim exemplo tá a ele ele Faz o bloqueio de conexão ao banco de dados aí né Se der tudo certo aí roda o programa simples dois o programa simples dois o que que ele faz ele nem a tabela lê tabela de vendas e traz para o ambiente de de dubhe Ai que a gente

está trabalhando aí vem o p3 o programa Sempre três então o aí esse programa né e e controlando a execução fluxo do programa olha se der pau aqui se esse programa três aqui Retornar um erro então dispara um e-mail para alguém manda uma mensagem para alguém enfim né a diferença em transformações idosos é que as transformações são probleminhas são módulos programas Teoricamente simples e um jovem é o que controla execução de vários programas é um programa mestre e controlar a execução de vários programas tá para efeitos dessa disciplina né a gente vai trabalhar basicamente com

transformações tudo que a gente for Criar é transformações então quando eu falar Job via de regra nessa disciplina entenda que eu estou falando de transformação nós vamos criar as transformações para nós fazermos que a gente precisa ok então basicamente né no exercício que eu falei com vocês naaty o exercício nós vamos fazer vocês vão criar oito programinhas oito transformações uma para cada uma das tabelas que a gente tiver que gravar tá pode ser um programa só pode ser um Problema só para gente brincar para divertir mais né Eu estou pedindo para criar oito programas diferença

pode ser um pode ser um e eu vou falar como que pode ser e não depois dos dias mas o meu pedido assim de preferência que a gente passa oito programas individuais uma nossa fonte de dados é um arquivo só uma tabela só eventualmente eu não preciso ficar abrindo e ele todas as vezes eu posso abrir ele de uma vez e fazendo as operações que eu quiser mas vai ver no Decorrer para mim mas então a gente até a hora que a mente a gente faria uma transformação né para carregar clientes outra para pegar contratos

e assim sucessivamente Tá bom então é essa aqui é a cara do nosso né do nosso é do nosso é ATM tá do nosso pentaho data integration então vamos fazer o seguinte Olha nós vamos criar eu tô criando aqui um Il Faro Então ele me pergunta você quer Criar um Job Ou você quer criar uma transformação então de novo para efeitos dessa disciplina nós vamos trabalhar muito com transformações aí eu vou criar uma nova transformação então quando eu cliquei em transformação O que é que nós temos aqui tá é uma precisar essa tela aqui um

pouquinho para tentar facilitar a vida de vocês depois tá então o que que a gente tem olha só eu estou criando né eu vou fechar esses outros todos aqui para facilitar e depois Oi oi gente aves for o caso está eu estou criando um novo uma nova transformação pronto tá aqui transformação é então o que que a gente tem olha só essa é a minha tela inicial né que a gente tava aqui tava vendo e agora ele criou uma outra abinha nesse ambiente aqui para mim que é o meu programinha e ele aqui no meio

né O que que a gente tem olha só é nesse meio aqui olha eu tenho uma tela em branco tá então eu tenho aqui uma tela em branco é Onde nós vamos construir o nosso programinha então nosso esse ambiente essa tela aqui é a tela que a gente vai utilizar para construir o nosso programa e quando a gente olha aqui do lado esquerdo olha só aqui do lado esquerdo essa telinha do lado esquerdo a gente tem o conjunto de dados assim de módulos que a gente pode utilizar Então a gente tem input Então olha o

que que é o imputar como funciona seu fazer aquilo e é como que funciona esse negócio olha Só essa aqui é a nossa telinha de trabalho onde que a gente vai desenhar o nosso programa então via de regra o que que nós temos pessoal via de regra nós temos a seguinte situação olha só é via de regra a gente tem o seguinte tá como funciona o que que é o e TL ué né a gente tem o extract gente tem o e é de extração é de onde que a gente vai extrair a gente tem

o te de transformar e a gente tem o Louro né é para fazer a carga tá então o PL né significa isso só que nesse ambiente aqui tá o Ué o extração É nesse ambiente aqui a gente vai usar objetos de input é normalmente input e para transformação a gente tem os objetos de transformação e tem um outro tanto de coisas e o load a carga a gente né aqui nesse ambiente a gente chama o conjunto de objetos que a gente vai utilizar a gente toma eles de Alto pude Então na verdade né o input

é o input nesse ambiente o que que eu estou trazendo né de dados para esse ambiente aqui do pentaho data integration então né é o extrato Olimpo extraio de onde trago para esse ambiente faço a transformações que eu quero e vou fazer o load a carga output onde então é essa ideia e é isso que a gente tem aqui olha só então o que que a gente tem aqui os principais os principais conjuntos de objetos que nós temos nós temos os Objetos input-output transforme são os é mas Observe que nós temos um tanto de outras

coisas aqui e de possibilidades de uso aqui também tá então as possibilidades são muitas tá então o que que nós temos aqui no input Olha só então input são os as origens as fontes os arquivos que é né os bancos tudo que eu consigo trazer dados para esse ambiente aqui do pentaho data integration tá então a gente ler arquivo csv De l'abri des né a de serialização fyo o Henry esses rio aqui na arquivos de geográfico de formas de formas gráficas geográficas e-mail arquivos de tamanho fixo arquivo zipado é Enfim uma série de possibilidades para

gente trabalhar xm-l arquivo de sistema de informação os sete nomes de tabela Google Analytics Dias som é vários Vários vários Vários vários nesta atividade nesse exercício que eu Passei para vocês a gente vai ler do Excel então microsoft excel input tá e quando né então do mundo tem OLAP tem né rss S3 tem tudo enquanto a nesse S3 aqui lá do ambiente da WS da Amazon é ciapeças seus esforços e quando a gente for Conectar em um banco a gente vai utilizar esse objeto table input Então o que a gente mais vai utilizar aqui né

é Microsoft Excel para gente ler dados do Excel e quando a Gente for ler dados do banco de dados gente vai utilizar table input para gente ler dados de um banco de dados daqui a pouco eu mostro para vocês tá bom Então essas são as e as duas questões aqui que a gente principais nós vamos fazer de input nós vamos usar muito dos nossos ao tipos tá aí tem variações que a gente pode fazer dependendo do que a gente quiser fazer tá então eu posso ao invés de fazer input deletar eu posso Fazer em sexta

dente eu posso gravar numa tabela normal eu posso gravar de vários formatos texto xm-l é mais normal quando a gente grave um banco de dados é utilizar esse tema ou escute mas não é restrito a ele também a gente pode usar variações né Por exemplo esse sexto update é uma das variações para inserir tabelas é para inserir linhas em uma tabela em um banco de dados tá eu posso gravar Nextel eu posso fazer uma série de coisas tá Então essa é essas são as Opções altos aí Praticamente todo o é quase tudo é ter é

transformação não restrito a isso que tá aqui tá Então a gente tem um conjunto de objetos aqui dessa de transformação que fazem transformação nos dados né de Netão operação stringhi operação com número é várias possibilidades operação mas a gente tem outras coisas também tá então é tem esses utilitários para mandar e-mail para esperar execução para né para fazer cópia Clone de alguma coisa Então tem os utilities tem eh comandos de fluxo de flor abortar não fazer nada enfim de várias possibilidades eh script né então eu posso chamar script de SPL eu posso chamar o Rex

né de regular Expression então eu posso usar chamar código JAVA e não eu posso fazer alguns escritos para rodar também tá e a gente vai usar bastante essa questão do look Ah tá então isso aqui a gente vai usado muito para conectar com banco de dados também para buscar a chave para Buscar algumas coisas condições de Johnny de cruzamento de dados de tabelas diferentes lugares alguma né esse esse combinei chão look update o daí mexendo catei a gente vai usar esses objetos e por isto por causa desses dois objetos aqui principalmente para a gente para

quem for utilizar Aqui Nós criamos aquelas três colunas adicionais nos nossos tabela dimensão né Nós criamos lá a data de início data fim e a versão Principalmente porque esse objeto de deitou House nós vamos utilizar ele precisa daquelas daquelas três colunas lá tá então tem que ter aquelas três coluna estatística então né eu posso chamar script em Python Analytics o grupo by mesmo by é tem uma série de possibilidades aqui de análises univariadas então dá para fazer algumas análises aqui em tempo de execução é funções comandos para alguns né dê para Por um ambiente de

Big Day tá então Cassandra acabei já adulto se é mongo DB tem várias né parque lá do ambiente lá do da amazona WS também então interage preciso ambiente todos a já eu então tem o money UTI boa já eu tenho as funções tem enfim tem uma tanto de funções de situações né que que nos permite utilizar aqui tá alguns que já saíram de digamos assim já depreciaram já não são utilizados mais mas enfim tem né uma Série de coisas implementadas e eu estou falando da versão oito na hora que a gente pega outra a versão

uma hora por exemplo é possível que já tenha outras coisas aqui para acompanhar o desenvolvimento tecnológico de uma forma geral para acompanhar a evolução de como que a coisa anda tá então o que que nós temos como que funciona como que eu começo a trabalhar com isso então por exemplo né no trabalho e vocês vão fazer nós vamos ler um arquivo do Excel então O que que eu fiz Olha só eu selecionei aqui deixa eu ver aqui ó É eu sei você selecionar Olha só eu vou pegar né um objeto microsoft excel input e trouxe

arrastei né eu poderia também é se eu desse um duplo-clique eles não é o que eu da primeira vez o que que eu fiz a primeira vez Eu arrastei tá mas se eu der um duplo clique nesse objeto ele já move esse objeto para lá tá então ele trouxe o primeiro objeto aqui o Microsoft Excel Input esse aqui é o objeto é o meu é é o EDGE é extração né é o input que eu vou fazer eu tô extraindo De Onde Eu Vou extrair de um objeto Excel então o que que a gente tem

olha só quando eu pego né Eu trouxe objeto para cá esse objeto Ele lê um arquivo Excel qualquer objeto que eu colocar aqui nesse ambiente eu preciso de fazer o que eu preciso de configurar esse objeto então eu dei um duplo Clique nele a tela para eu configurar Então olha só eu posso ler né Esses é os prédios x-type Então qual que é o tipo de planilha Excel que eu tô lendo eu tenho algumas possibilidades tem algumas delas que dá pau tá Depois a gente vai descobrir eu acho que funciona sempre é esse a parte

pode streaming Então a hora que der aí vocês vão saber também que deu E eu então eu falei seguinte Olha o né a ap que eu tô utilizando para para ler o Excel é esse né o interpretador É esse aqui que eu selecionei agora aonde que o meu arquivo Excel está então o files or directory onde que ele está Vou procurar onde que ele tá cliquei aqui no Navegar então eu vou achar aqui né onde é que está aquele arquivo que eu quero trabalhar show tirar aqui os um só para facilitar minha navegação é aonde

que tá esse negócio eu acho que eu tenho ele aqui Ah então tá aqui o meu arquivo cliente está então fiquei me abrir selecionei o arquivo que eu tô trabalhando Olha só então ele tá No diretório e tal e aqui no final das contas bom então eu estou selecionando o arquivo clientes aí eu naveguei busquei eu vou clicar em Edson para trazer esse aqui vou aqui para esse ambiente de baixo aqui olha só então eu posso ter vários arquivos aqui ao mesmo tempo tá então eu trouxe esse arquivo para cá eu poderia usar expressões regulares

né para quem não conhece se vocês não conhecem eu tenho algum material que eu Posso indicar mas eu sugiro vocês vocês pesquisarem entender e aprenderem sobre essas expressões regulares né Isso é oitava maravilha isso resolve problemas nossos homéricos assim e quase todos os ambientes de programação que nós trabalhamos aceita tem alguma coisa para trabalhar com essas expressões regulares tá expressões regulares né eu posso por exemplo usar caracteres Curinga é muito para gente trabalhar com esse Mundo de mais de mineração de padronizar a série de coisas e depois eu posso mostrar ali para vocês também tá

então o meu arquivo é esse cartão é eu trouxe para esse ambiente esse arquivo e eu tenho que configurar algumas coisas Olha só então o que que eu tenho configurar tá então eu o arquivo abinha files eu passei essas parâmetros aqui eu tenho uma outra abinha porque o meu arquivo cliente se ele pode ter várias planilhas então eu tenho o arquivo aí eu tenho um Shitzu aí aqui olha só nesse chip eu posso fazer o que a gente tem aqui opção olha só aqui embaixo é get Fitness então eu já passei qualquer o arquivo e

o que que eu quero eu quero buscar as planilhas que tem nesse aquilo cliquei ingressos ship names naquele Arquivo meu lá ele tem planilha um planilha 2 para ser sincero eu não sei qual que é não mas eu acho que é para me deu um então né Tem lá Quais são os itens a família que estão disponíveis naquele arquivo eu Estou selecionando a planilha um selecionei a planilha um e vou clicar Ok então o que que eu tenho Olha só então planilha um vou ver se vai dar certo depois então eu tenho arquivo planilha tem

outras coisas que eu posso trabalhar mas eu preciso saber agora Quais são as colunas os fios os campos que têm nessa planilha então cliquei em fios e vou clicarem Garfield from reader ou eu tô falando seguinte Olha a primeira linha dessa Planilha tem o nome dos Campos nome das colunas então eu tava certo tá vendo Então eu trouxe aqui olha o código do cliente o código do contrato do cliente então é essas colunas estão lá na minha planilha Excel e eu posso fazer ainda aqui para ver se tá tudo OK tá então eu posso fazer

um proibiu Rose e se perdeu ou vai me mostrar algumas linhas eu estou falando aqui 100.000 não precisa nem mil pode mostrar sem linhas a serem primeiras linhas Olá Iva aqui só para me Mostrar tá então Estou trazendo aqui trouxe aqui para mim olha só as 100 primeiras linhas do meu arquivo Excel nós pedimos aqui para mim aqui eu pedi para mostrar aqui para mim a 100 primeiras linhas então ok né eu vou clicar aqui aparentemente tá tudo certo trouxe tá legal eu vou clicar aqui em fechar e vou clicar aqui em baixo em Ok

então ao fazer isso o que que acontece este objeto meu está configurado então o que que esse objeto faz Ele vai um diretório encontra uma planilha Excel encontra a aba da planilha Excel verifica as colunas da planilha Excel e traz ler esse essa planilha Excel para memória vocês já imaginaram a quantidade linha de códigos nós teríamos que escrever se fosse né Se eu tivesse que escrever e não tivesse bibliotecas prontas para isso mas imagina a quantidade de controle a quantidade de coisas que nós teríamos isso bom então nós configuramos aqui um Objeto e esse objeto

ele faz o que ele leu Mark V céu ele tá indo lá no a base da Dileno arquivo Excel então nós fizemos um e tá a gente vai fazer aqui uma coisa extremamente simples que eu só vou pegar esse arquivo Excel e eu vou gravar ele em outro lugar tá então eu vou eu fiz um impulso eu Excel e eu vou gravar esse arquivo em outro lugar eu vou gravar Lu em um arquivo TXT normal text files auto posto tá não vou nem gravar no arquivo Excel Ok então o que Que eu fiz Olha só

Eu arrastei o objeto para cá então se eu fizesse seguinte olha só é esse objeto está selecionado eu cliquei em cima desse objeto Excel Se eu der um duplo clique aqui ele já liga o objeto tava selecionado com outro objeto que eu criei ai se eu não fizesse isso tá eu posso arrastar esse objeto para cá gastei e esses dois objetos não estão conectados são dois objetos é Independentes no pênis ambiente que eu criei nós precisamos é criar conectar Esses objetos nós precisamos Ligar nós precisamos conectar esses questões como que a gente faz isso olha

eu tô com com esse com esse objeto selecionado com primeiro objeto selecionado né com a origem que eu quero ligar eu pressione shift cliquei em cima mantive o mouse pressionado o botão pressionado Então eu estou com o shift pressionado com o botão direito do mouse pressionado arrastei soltei então ele criou acabou de conectar desligar esses dois objetos Então eu sei que esse objeto da esquerda né ele vai rodar primeiro e o que ele gerar ele vai passar para esse novo objeto aqui na frente tá então a gente vai seguir esse fluxo aqui essa é uma

a sequência de fogo eu vou configurar esse outro objeto aqui agora porque eu não configurei nada nele ainda né então ele é um objeto o objeto que vai gravar no arquivo eu vou configurar onde que ele vai gravar esse arquivo tá É ele né Deixa eu ver aqui onde que ele vai Gravar e a ele tá gravando isso aqui no local deixa eu ver aqui e eu vou gravar isso no e eu vou gravar isso aqui na raiz do dia tá e vou chamar isso aqui de a aula E aí em 2021 10 8258 TXT

só um tô criando esse arquivo aqui tá bom o Ah pois em a aula 20 e 21 08 25 ponto de XT certo e Ok então aí eu tenho que configurar mais algumas coisas aqui né O que que eu tenho que configurar eu tenho uma série né de parâmetros aqui que eu posso falar tá se eu quero que inclui quebra de linha inclui o nome no arquivo ou não tem algumas coisas mas me interessa muito Isso aqui olha é os eu posso o quê que é o separador se eu vou acrescentar ou não se eu

coloco o "é os números ficaram entre aspas então tem uma série de configurações né que a gente precisa se atentar mas principalmente fios né observa em que é tá em branco aqui os fios mas eu tenho né é esse esse objeto ele tá conectado com um objeto anterior E aí eu tenho aqui embaixo no pé da página olha só eu tenho obter em Campos se eu clicar em obter em Campos observa Em que mágica que acontece ele obtém os campos do estepe anterior do estágio anterior então né eu estou buscando esses campos aqui do estágio

anterior cliquei em Ok então o que que a gente tem agora olha só eu estou lendo um arquivo Excel e eu vou gravar um arquivo TXT tá essa transformação nossa ainda não tem nome então eu posso salvar meu vou gravar essa transformação corrente eu vou gravar onde essa transformação aqui no nosso diretório aqui bonitinho Então eu vou chamar ela de a aula a 20 21 08 na 25 aí vai salvar com extensão ktr tá Salvei a minha transformação então agora mudou aqui o nome Olha só então eu tenho esse arquivo salvo Tá salvo lá no

disco então eu tenho esse programa eu tenho um probleminha tá aqui agora eu posso executar essa transformação Eu Posso rodar esse Programa até estar rodar então eu vou executar esse programa então para executar né então é a configuração é o meu pentear local e se poderia estar no servidor eu poderia passar algumas alguns parâmetros algumas coisas eu não estou né O meu a nossa transformação Não tá recebendo Parando aqui não tá nada eu só vou executar rodar e aqui no pé da página ele começa a mostrar para gente logo então o que que ele deu

aqui olha apareceu linha vermelha né significa que Tem erro O que erro que deu aqui vamos lá ver o que que acontece né É É e eu não sei porque que esse negócio tá tentando conectar no banco mas na verdade na nossa a nossa transformação não tem nada que conectar no banco né e esta minha são acho que são erros antigos tá eu não tinha limpado log tá então eu não tinha limpado logo olha só e deixa eu ver ele tá rodando tá aqui naquele aquele log ali é log de coisas antigas né então O

que tá contando mesmo né É isso que eu tenho aqui agora o que tá rodando agora tá que começou a dia né dia 25/8 2021 8:04 que começou a execução Então logo tá aqui depois eu vou limpar esse logo para tirar e aqui eu tenho a execução então o que que tá acontecendo as métricas Então olha só quantidade de registros lindos né 104 1105 e o que que tá sendo gravado lá no arquivo texto Então já leu 113 já gravou 108 Então tá funcionando assim e aqui eu tenho Olha só se eu clicar por exemplo

nesse objeto e eu clicar no preview deita ele vai mostrar ele dá uma né uma ele mostra para a gente apliquei na abinha aqui embaixo pediu deitar olha só ele mostra os dados que estão passando por aquele step naquele momento tá então ele vai mostrando aqui para gente olha só os dados que estão passando e um determinado certo então que tá passando ele esse estepe que está selecionado Então aqui é um bom é um bom jeito de nós vermos observar mousse o nosso se o nosso programa tá funcionando direitinho é o nosso programa tá rodando

né então enquanto está com com esses conhecidos né com essa tracejados vim aqui o programa tá rodando já leu esse arquivo tem quase 200 mil linhas ta-183 185 tá acabando bom então ele tá lindo excel já terminou o Excel Ok e vai terminar também ok Gravou nosso aqui deixe ser então esse programinha Nossa ele leu uma planilha Excel e gravou um arquivo TXT do outro lado e arquivo que ele gravou Vamos lá ver o que que ele gravou né a gente grava o arquivo e cadê e eu achei que tinha sido aqui E aí é

esse aqui e onde que nós gravamos quilo É sozinha né é de Tu gravou lá no eu pensei que eu tinha mudado e não mudou de os softwares pintar carro Oi Tati integration o gravou aqui ó bom então ele gravou aqui ó em TXT aquele arquivo nosso lado Excel tá vendo Então o nosso a nossa transformação que que ela fez a nossa transformação só leu um arquivo de lugar e gravou em outro Lugar tá então basicamente aquela transformação Nossa fez isso aqui então gravo né leudo arquivo Excel em gravou um aqui deixe ser então é

uma transformação bem simples nós fizemos tá E aí a gente começa a sofisticar depois disso a gente vai começar a gente vai começar a fazer coisas mais sofisticadas tá então por exemplo né eu poderia vou deletar isso aqui tá então o que que eu poderia fazer Olha só eu vou ler o arquivo de um banco de dados então eu tô Utilizando o objeto table Saw Cut tá então eu vou ler um arquivo de um banco de dados tendo altitude eu vou configurar esse they both ali então tem Báltico tive uma das coisas que a gente

precisa ok e Valeu uma tabela de banco de dados Desculpa tô e eu quero ter Bob Esponja eu quero table input porque eu they both é para eu gravar um banco de dados eu não quero ainda gravar no banco de dados Eu Quero ler de um banco de dados tá então eu tenho um objeto table input tô selecionando aqui o objeto table input tá então aqui também objetos table input eu vou configurar esse objeto Então esse objeto table input né Eu preciso de de uma conexão então eu não tenho nenhuma conexão olha só eu não

tenho que nenhuma conexão eu tenho que criar uma nova conexão então eu vou criar uma conexão para algum banco de dados tá Então para qual banco de dados que eu vou criar essa conexão e deixa eu ver qual que eu tenho aqui eu tenho criar e aqui ó e aí o o pentaho data integration né ele ele se comunica ele conversa com uma infinidade de sgbds a gente precisa só de ter o driver para a gente conectar com aquele banco de dados tá então eu vou chamar aqui a minha conexão de teste no caso aqui

né eu tô conectando no meu Servidor local eu vou conectar no banco no banco mais quer ele tá então que eu vou fazer aqui a conectar no banco mas quer ele Então olha só eu dei o nome para conexão conexão teste eu selecionei o sgbd my SQL eu estou utilizando jdbc nativo por isso que eu tenho que colocar aquele driver lá naquele diretório comecei com vocês eu vou ler de qual rosto tá eu vou ler do meu local host a isso aqui né Poderia ser um servidor nas nuvens poderia ser o Endereço o servidor onde

que ele tivesse em qualquer lugar que ele tivesse eu não sei qual exatamente que eu tenho eu preciso de ir lá ver qual que eu tenho ali Tá espera aí e eu preciso de ver qual qual banco de dados eu tenho aqui ó Em qual banco de dados eu tenho no e aqui no mais Kelly para eu conectar a um banco de dados mais quieto e eu tenho aqui um banco de dados e eu vou conectar E nesses aquilo aqui tá é um banco de fogo aí do Além do mais quero que vem na instalação

ele mais quer é e e O SAC tu não eras tu a chover acho que eu perdi aqui ó Oi Nil E aí G1 bom então vai dar que eu não me esquece Como aumentar aqui para você ver o que tô fazendo eu dei o nome de teste para essa conexão eu vou conectar no banco de dados mais ql o servidor meu é o local host é o servidor local então eu poderia dar qualquer nome o nome da instância de banco de dados que eu vou conectar essa Áquila ela tá na porta 3306 o meu

usuário aqui a Rute Rute Eu não mudei tá eu vou ver eu vou testar desse a conexão Tá funcionando então eu passei Né as credenciais né a gente está fazendo isso lá na empresa em qualquer lugar eu tenho que ter o endereço do servidor do banco aí né Qual que é o host o nome da instância tá a a porta usuário e senha e vou testar isso aqui quando a gente recebe essa mensagem aqui é só alegria que Deus é Ah então tá mais Normalmente quando isso não dá certo ou eu passei algum parâmetro que

errado ou eu não tenho o driver lá naquele Diretório instalado então precisaria de voltar lá e baixar o driver instalar o driver lá o jdbc então ok conectei então essa minha conexão está OK bom então Oi ok e a nossa conexão está OK Agora eu tenho uma conexão eu posso escrever aqui né o s que é o select que eu quiser tá então eu poderia escrever aqui o select normal então se eu já sei se eu já tenho eu posso inclusive copiar ele lado do banco De dados lá da de outro lugar que eu tiver

aí colar ele aqui ou eu posso clicar em SQL select Statement então ele vai mostrar aqui para mim agora as tabelas que estão lá naquele banco de dados meu então eu tenho uma tabela lá de atores Hector ok né dormir ontem Club The Field names in eu quero que inclui então ele tá fazendo uma select étroit the first Name last name last update from a tabela apps Então esse é o meu SQL e eu posso fazer agora né o Inclusive um preview Então vou trazer também vou trazer só 10 linhas tá rodar rapidinho tranquilo ele

trouxe aqui os primeiros 10 as cores né é que estão lá gravado na minha tabela tá vendo Então o primeiro a pena era o Guinness é Nicki wallber então trouxe aqui os 10 primeiros né então ok esse bloquinho no meu está funcionando né então eu conectei em um banco de dados e essa conexão está funcionando então estou lendo aqui agora em banco de dados eu Poderia fazer o seguinte né agora eu posso conectar Isso numa saída gerar um testei de novo então já fiz no exemplo anterior a ideia é exatamente a mesma né o funcionamento

é exatamente o mesmo então eu posso conectar isso aqui de diversas formas tá então só mostrando para vocês possibilidades aí a gente tem aqui é deixa eu ver aqui eu fui ver se eu tenho aqui Em algumas coisas para mostrar para vocês tá então por exemplo é esse esse trabalho essa atividade que eu passei para vocês olha só então aqui eu tô com um exemplo de de uma transformação só um transforme só que ele faz o que tá ele grava deixa eu ver o que que ele tá fazendo aqui ele grava ele gera tabelinha de

filial ele gera tabelinha de produto ele gera a tabelinha de motivo de IOS ele gera a tabelinha de tipo de os&m Gera a tabelinha de forma de pagamento Então olha só eu leio o arquivo Excel tá eu li o arquivo é que você é aquela configuração que eu falei para vocês antes eu tenho 23 de transformação e tem um l que é para fazer a carga lá na tabela do banco de dados então aqui olha o que eu estou Ah tá então eu tenho uma Instância de banco de dados eu chamei de e XVI ai

a minha tabela filial e eu estou lendo olha só estou gravando na tabela filial na na coluna filial o nome Filial Por que que eu não estou gravando ôca chave tá porque eu criei lá e nesta base aqui olha ex de ai a tabela filial e eu criei o seguinte olha só é a chave da tabela é auto incremento é aí o que que significa uma tabela a chave de uma tabela ser Auto incremento eu não preciso me preocupar com o valor que eu vou dar para essa pressa variável porque cada vez que eu inseri

uma linha nessa tabela né o próprio sgbd controla a essa chave para mim eu não Preciso me preocupar com ela Então nesse caso eu criei a chave da o código da tabela filial como Auto incremento então a única coisa que eu estou gravando lá na minha tabela tá eu estou usando o meu jovem para gravar a única coisa que eu estou gravando é o nome da Sideral tá então a única coisa que eu estou usando aqui o nome da final mas estou conectando né nesse Eu criei esse essa conexão Olha o que que essa conexão

O começo vai abrir aqui E aí bom Então olha só é a Insta o rosto servidor é o local Rocio databasename aquele exercício XV ai usuário importa é essa conexão que eu estou fazendo entendeu então esse jobzinho né esse jogo que eu tô fazendo aqui ele ler um arquivo Excel faz duas transformações duas e vai gravando diferentes tabelas o que eu tinha falado para vocês é para fazer é um dá para fazer né Se fizer assim não tem Problema não tá mas às vezes para facilitar o entendimento faz um para gravar a filial depois faz

outro para gravar forma de pagamento depois faz outro para gravar enfim para gravar o tipo da ordem serviço etc foi é só fica uma dúvida aqui vamos por ele vai ter que travar as tabelas numa certa ordem né se para primeiro criar uma chave estrangeira que vai falar alguns porque moto internet no banco agora quando eu vou gravar segunda que vai usar essa Chave estrangeira dentro dela eu vou ter que ler o banco e fazer um joia implantes gravar para pegar essa chave garoto é isso né nisso perfeito aí deixa eu mostrar uma das aplicações

que te mostra como fazer isso quer ver e a escola aula por contrato e não esquece aqui E aí olha o que que acontece essa aqui é para gravar lembra-la do nosso é foi o Paulo que comentou né E isto se lembra da nossa tabela contrato Olha o que que a gente tem na tabela contrato a gente tem que gravar lá na tabela contrato o código da forma de pagamento o código da filial e o código do produto Ok então essas tabelas tem que a gente tem que ter carregado elas antes porque eu não vou

colocar na minha tabela contrato o nome da forma de pagamento eu vou colocar o código da forma de pagamento Então olha como que essa Aplicação que funciona Tá eu vou ler o Excel normal só que nesse céu o que que eu faço né nesse Excel eu vou pegar o nome da forma de pagamento então por exemplo eu vou pegar o nome Dafne ao aí eu vou usar esse objeto aqui olha só esse objeto então o que que ele faz ele vai lá na tabela filial no banco que eu já gravei e ele pega o código

da filial Então olha só valores a serem retornados da tabela lucro ele retorna O Código Da e onde o nome da filial na tabela que eu Gravei é igual o nome da filial que tá vindo na base que que eu li que eu tô olhando entendeu Então a hora que eu lei isso aqui eu acho que tá funcionando chover e para a gente entender aqui olha só Então a hora que eu tô lendo o meu arquivo Excel a minha filial eu estou encontrando Eco House Belo Horizonte ok O que tem na minha tabela do Excel

é esse nome Eco House Belo Horizonte aí eu gravei lá na minha tabela no banco de Dados eu gravei Olha só filial bom então eu gravei o nome das filiais e o código delas elas estão com elas estão com código tá vendo eu tenho Eco House Belo Horizonte é o código 134 tá vendo consegue ver aqui Eco House Belo Horizonte Então tá com código 134 lá no meu arquivo Excel eu tenho o nome Eco House Belo Horizonte eu não sei qual esse código então eu gravei eu tô com a cabelinho gravado no banco de dados

e o que que eu faço aqui na Minha aplicação agora olha só então eu para processar essa primeira linha tá então que tá no meu arquivo Excel é Eco House Belo Horizonte Então o que eu tô lendo o que o lírio que tá vindo no meu fluxo é o nome Eco House Belo Horizonte aí o que que eu faço aqui nessa nessa hora que eu leio que eu tô processando a primeira linha do meu arquivo então o que que eu faço né eu vou lá na tabela é do meu banco de dados e eu quero

retornar o código da filial eu quero Retornar aquele 134 então eu quero retornar o código da filial quando o nome que tá lá na tabela filial que tá na coluna né que tá nessa coluna aqui olha que tá na coluna filial né Eu quero retornar quando esse nome né que está nessa coluna filial na tabela filial quando esse nome se for igual ao campo que tá vindo é do meu Excel aqui estado do meu que tá vindo no conteúdo filial né então eu li Eco House Belo Horizonte é que eu vou lá na tabela filial

isso aqui funciona tá isso isso aqui vai funcionar assim ó esse esse objeto aqui é o que ele tá fazendo na verdade é isso aqui olha só então a operação que eu estou fazendo aqui o seguinte ó o segredo select é isso aqui ó select é isso aqui select Qual a diferencial Oi from é isso aqui E pronto filial o where é isso aqui ué filial e é igual aqui é o parâmetro é igual parâmetro filial Ah tá então esse aqui é um parâmetro ali só que é esse cara aqui ó E aí então para

aquela primeira linha do Excel que nós estamos lendo esse parâmetro aqui ele é igual que Eco House o BH aí a hora que eu leia da primeira linha Que eu executar Esse comando aqui eu vou retornar para esse carinho aqui ó esse cara que eu vou retornar o 134 Então a hora que esse fluxo continuar aqui né eu tá então esse fluxo aqui continuar agora daqui em diante e eu tenho o nome da filial ou Eco House Belo Horizonte e eu tenho código dela porque na tabela contrato eu vou gravar o que eu vou gravar

eu código da filial A então eu vou gravar aqui olha só hein e aqui ó eu vou gravar código da filial Tá vendo eu não vou gravar mais o nome da filial então é exatamente isso que você perguntou tá bom é exatamente essa loja beleza Entendi valeu certinho bom então é bem essa lógica pessoal aí né e o que que acontece nós temos ferramentas e ferramentas a gente tem preferências por algumas preferência por outras é o fato é que cada um de nós é Independente de qual a gente gosta mais Ou menos é muito salutar

é muito recomendado que a gente tenha uma ferramenta de cada categoria em nosso portfólio para quem trabalha com esse mundo de dados para quem vai para o mundo de dados e a grande vantagem a seguinte né alguns vocês já trabalham com vários com banco de dados com algum sgbd então a gente observa que tem detalhes tem detalhes né É tem coisas que são específicas de cada um mas de uma forma geral os sgbd são parecidos a Estrutura Aparecida as coisas são parecidas Então quem trabalha com o corpo rapidamente conseguiria é trabalhar com SQL server com

mais que Elle com outro banco de dados então ser gente conhece um Oi gente a gente aprende a gente sabe como funciona sabe pesquisar vai olhar sabe como funciona a gente né para esse mundo de dados nosso de ciência de dados e dados etc Eu recomendo absurdamente muito o saber e r Ou saber pai se souber os dois é luxo Aí é bom demais eu recomendo muito muito muito que nós tenhamos do nosso portifólio uma ferramenta TL e não é para gente trabalhar não é só né isso ajuda Isso facilita a gente trabalhar nesse mundo

de viagem de uma forma geral gente mas essa ferramenta ela me tira de cada enrascada e uma quantidade de vezes vocês não têm ideia tá eu fiz um projeto sei lá oito anos atrás talvez 2012/13 sei lá e a única assim Era um projeto que né que eu tinha que pegar todas as chamadas o ônibus que entravam numa urna e era um milhares chamadas telefônicas tá então em processar em tinha né Para eu a identificar Quais os passos que tinham sido guiados na hora eu não tinha um campo estruturado para isso não eu tinha um

campo texto que lá tinha todo a navegação do cara na ura então a ferramenta que me permitiu analisar isso extrair processar tratar e fazer uma Série de coisas foi essa ferramentinha aqui então é muito salutar é muito saudável queria o nosso portfólio a gente tem as tem a gente conheça pelo menos uma de cada de cada uma das categorias de ferramenta tá porque isso ajuda a gente tirar a gente de cada enrascada tem hora que e ela é muito tinha muito para as vezes ela é um pouquinho chata nessas configurações de criar variável de baixar

de nós tá lá e tem que ter o Java mas depois que Estiver rodando aí tranquila sem maiores problemas o e né a gente conhecendo ela tá é talvez o data integrator da da Microsoft aí seja um pouquinho diferente mas via de regra são todas muito parecidas algumas os objetos são mais compactos eu tenho mais coisas para configurar dentro deles por exemplo informática powercenter para o informatica powercenter Eu tenho um objeto de banco de dados e ali dentro eu configuro tudo De banco de dados né então há quem goste e há quem não goste mas

é característica do objeto então tem outro que eu tenho casa para cada banco de dados Eu tenho um objeto diferente então é legal a gente tá bem entender ver como é que funciona e ter isso no nosso portfólio tá de ter de ter que ter essas possibilidades nosso portfólio Esse é o pentaho data integration para gente utilizar né Isso aqui é uma mostra extremamente Simples extremamente simplória não é do que é a ideia o e dar uma noção geral para quem for trabalhar para quem quiser e no decorrer dos nossos encontros agora né a gente

vai trabalhando com isso vai aprofundando vai desenvolvendo e vai tirando dúvidas mas é muito útil é muito interessante é muito legal é tem tenho eu acho que é daqui seis né ah não sei se na Algar pelo menos lá na época lá muitos anos atrás eu trabalhava a Ferramenta rtl que nós precisávamos era o darkseid tempo né É uma ferramenta paga superpotência bacana mas é prima primeira da do Pentágono da igreja então a gente sabendo uma tem uma lógica noção de uma a gente vai conseguir facilmente Navegar em qualquer uma outra entendeu com um pouquinho

mais ou menos de recurso de facilidade mas a gente sabendo um a gente navega em qualquer uma sem maiores problemas Tá certo então o que que a gente tem né É na quarta-feira da semana que vem a gente tem a apresentação da Ana Luiza mede de do do Power bi ir na segunda-feira véspera de feriado eu tenho eu acho que eu tenho um evento que eu tenho que fazer uma palestra relacionada à dados e eu vou ver se vocês podem participar se puderem é para o pessoal da lá da do curso de pedagogia de educação

lá de Ituiutaba e a para falar de um projeto que nós estamos fazendo na UFU para o FNDE é um projeto totalmente voltado a dados biais e uma série de coisas que eu estou fazendo né É E aí Seria legal se vocês puderem participar eu vou perguntar para organizadora lá se vocês podem participar aí se puderem ao invés da aula aí a que a gente vai fazer é é é para te falar desse desse desse encontro e vocês tem tanto de de coisa agora para ir desenvolvendo para ir trabalhando tá então a gente só tem

a entrega por mês de setembro inteirinho até o dia vinte e Sete de setembro agora a gente tem entrega para ser feito e intercalando as quartas-feiras a gente vai ter nas apresentações dos minicursos tô falando com a Ana Luiza e eu vou dar né chance para vocês eu estou sendo bonzinho demais eu nem estou me reconhecendo mas eu já vou sortear quem será o próximo que vai apresentar o que será na outra semana tá então na semana que vem Ana Luiza Aí nós já vamos Ver e tem que irá apresentar depois é E aí e

a pergunta de hoje tá então lá do Google forms é qual que é a os principais cuidados o passos que a gente tem que ter para instalar o pentaho data integration tá então é fazer download dois é descompactar ele não tem um instalável três é criar as duas variáveis de ambiente e quatro caso Necessário baixar os drivers para conexão aos bancos de dados jdbc ok E aí e qual que eu faço quatro pessoas caso necessário baixar os os drivers jdbc e colocar no diretório Lib é onde que o pentaho data integration estiver instalado no Capítulo

1 o capim Então tá bom E aí Há 700 já quem será quem será quem será vamos lá vamos lá vamos lá Amauri Cassiano Costa a fechada maori Oi desculpa Senhor fechadíssimo eu acho que eu só não passei ainda ferramenta tá tentando achar o mar online aí fui mas tá difícil alguma aqui seja boa a sua vai ser no dia oito de Setembro tá bom beleza 87 ultimamente uma dessas inverno licença temporária alguma coisa de boa também viu Cassiano então pelo que eu tô Vendo vai ter que sair porque eu tô tentando pegar o site

em para dar uma passada eu amo muito legal aí online até mesmo das págs são da nossa festa limitada e peguei algumas pagas que tinha licença grátis por um tempo só que a limita apresentasse tem três tabelas consegue conseguir três gráficos entende na limitado o modelo é só em cima da base que ele tem disponível que geralmente aí menor é bem literalmente degustação mesmo aí vou tentar pegar o Site lá colocar o tutorial pra galera beleza meu irmão show de bola Tá certo pessoas dúvidas perguntas comentários comprar o tênis para fazer demais tem coisa para

caramba para fazer aí tá Oi mãe o acabamento é agradeço a presença de vocês vamos falando e eu mantenho vocês informados sobre a possibilidade de vocês participarem do evento sem na segunda-feira às dezenove horas tá será Um prazer se der certo e aí durante né em dando certo eu vou perguntar para menina inclusive aí eu vou reservar uns dois três minutos para vocês é para comentar um pouquinho da trajetória de vocês com o uso de dados de uma forma geral né a gente tá falando para pessoas da pedagogia é que começam a vislumbrar a possibilidade

de uso de dados para suportar o processo tomada de decisão não faz parte do mundo deles não faz parte do universo dele mas o que a gente Tem visto aquele tem gostado quando tem tomado conhecimento a cura é isso é assim que funciona então às vezes as pessoas são avessas são contrárias por não saber exatamente o mecanismo funcionamento da um quando tem a oportunidade a entender como é que é e esse é um pouco do nosso trabalho nas empresas nos lugares que nós vamos muitas vezes nós precisamos catequizar as pessoas nós precisamos mostrar a relevância

e importância o funcionamento Para aí o que a gente faz até mais valor tem mais sentido então aí dando certo será um prazer se vocês puderem participar e curtir um pouquinho disso a gente falou e eu estou à disposição para as duvidas que vocês precisarem Thai como a gente a segunda tem segunda que a gente não tá encontrando É eu estou disponível para encontrar fora do horário qualquer horário que vocês quiserem tá é só me acionar em que a gente combina agenda Marca então para Estando tudo certo não ficar ninguém para trás o menor Professor

ligados é valeu Bruno colares o Denise tá obrigado boa noite para você minha mãe para todos aí grande abraço é mais meu pastor