Iniciando com Elastic Stack (Elastic search, Kibana, Logstash e Beats)

olá pessoal tudo bem seja muito bem vindo a mais uma aula aqui da corrida do queijo o meu nome é wesley williams e hoje eu quero tratar com você sobre a introdução de um assunto muito importante muito interessante e que realmente acaba fazendo uma certa bagunça na cabeça de muitos desenvolvedores que querem entender mais esse tipo de tecnologia que a famosa e leste que stec legal então hoje o que eu quero fazer eu quero dar uma aula com uma parte teórica aqui pra você ou seja nessa parte teórica você vai ser capaz de entender os

fundamentos principais dessa stec e depois disso eu vou trazer dois cases bem simples pra gente conseguir fazer na prática pra você ver tudo isso aí funcionando e deixar você com gostinho de quero mais legal então essa é uma introdução tal deixa muito claro que é uma introdução a esse mundo tá nesse mundo da e leste que é muito complexo é muito grande eu também não sou especialista em todas todo esse range de ferramenta deles tá é como eu digo eu sei mexer já utilizei bastante trabalho com isso mas eu não sou especialista do especialista mas

o que eu sei sem dúvida eu consigo passar pra você e tento passar pra você de uma forma mais didática e dinâmica possível beleza então vamos lá e vamos falar sobre electric stec bom primeiramente antes de a gente sair falando de celeste stec normalmente a gente sempre ouvia falar nessa nomenclatura e lk stec tá e o que que é isso no final das contas o lqs é stec ele acabou vindo do e do electric 7 provavelmente você em algum dia já ouviu falar no relais que sanchez provavelmente você deve saber que ele é uma índia

e analytics então praticamente você consegue buscar as informações de uma forma muito rápida lá mas hoje em dia também o é se ele tem ferramentas fantásticas de agregações de filtros etc certa para que você consiga ali tirar o máximo de informações possíveis legal então olha bem o e aí no electric sant legal depois disso a gente vai para o l do lk neckel logos teste o que eu obstante logs teste ele é um processador de dados através de pipelines que consegue receber transformar e enviar dados simultaneamente incluindo a uesc sert ok então o que começou

como que a idéia inicial tá é a gente tem o last kiss art depois a gente tem o logs teste e depois a gente precisa de um cara que é muito famoso também em que muita gente adora utilizar que é o famoso cubana legal o cubano que ele faz ele permite aos usuários a visualizarem os dados do leste sa através de gráficos e etc a gente vai ver é isso aí um pouco mais a fundo mas é essa idéia que eu queria trazer pra você inicialmente quando a gente está falando sobre o e lk stec

legal e licá e leste site logs techeye que mana beleza tão aí vem aí dessa história como que vem a nomenclatura aí dessa estética aí o que acontece e vamos falar rapidamente um pouquinho mais sobre cada um desses itens tá é provavelmente você talvez não seja um especialista em relações que 71 cubana e etc ok então vale a pena a gente dá uma recapitulada é a maioria das informações estão no próprio site da eléctrica e lecce que ponto o senhor ok é eu estou deixando aqui embaixo também no slide mas vamos lá então o seguinte

electric site praticamente ele é um banco de dados orientado a documentos ou seja quando você sobe as informações para criar os seus índices lá dentro tudo aquilo que é indexado acaba virando documentos e esses documentos conseguem ter uma estrutura tão fácil de ser encontrada que é extremamente rápido você utilizar o e leste 7rock inclusive tem muita gente que diz que existem algumas agregações alguns tipos de filtros e etc que por exemplo o s7 consegue resolver problemas em segundos onde um espartilho da vida demoraria algumas horas a então o grande ponto aí é o seguinte o

elastic sei se ele não deixa de ser um banco de dados no se cotar como você queira chamar legal é ele também praticamente a uma engine de busca a maioria das pessoas começarão sempre a trabalhar com estes anti para buscar os dados ou seja eu tenho todos os dados no banco de dados mas eu quero fazer uma busca full text eu quero trazer daqueles dados daquela informação que buscaram os dados mais relevantes eu quero ter um índice de relevância ali também pra mim tá um range de relevância quer dizer e o que acontece então eu

tenho oeste 7 como uma engine de busca mas art and e também o electric search unforme os dados vão sendo acumulados lá ea forma como você vai conseguir filtrar e agregar essa informação você é capaz utilizando tudo isso fazer a análise de dados ah então nesse mundo do be aheta lembrando que o alex e ele não é necessariamente uma ferramenta específica de biai mas ele consegue através das informações que ele guarda trazer muita inteligência para o seu negócio da mesma forma que o lecce que sanchez não é necessariamente somente uma ferramenta de bi deira mas

aí a quantidade de informação que você consegue colocar lá dentro é quase infinita uma vez que ele é totalmente escalava eu e distribuído legal ele é muito rápido ok ele é escalável e ele tem também um mapa e rech então é muito fácil você conseguir fazer consultas e você consegue por exemplo é fazer qual isso você consegue é enviar informações para serem gravadas você consegue remover informações você consegue colocar pai é várias informações de uma vez só você consegue alterar a diversas informações de uma vez só então você tem diversos recursos ali que facilitam muito

a sua vida para você conseguir inclusive manipular esses dados principalmente a área de consultas está a square enix que você consegue fazer utilizando o alex sanchez são muito mais muito poderosas mesmo tá e daí o que acontece galera o povo começou a perceber que o lecce x art ele consegue guardado pra caramba e ele pq o povo começou a perceber que esses dados eles conseguem facilmente ser indexados eles conseguem ser consultados rapidamente você consegue dividi-los você consegue colocar em índices diferentes então o pessoal ali começou a pensar por que que eu não vou pegar os

logs da minha aplicação sei lá do meu a parte do meu mais sequer lhe da minha aplicação xpto da minha aplicação java da minha aplicação php e eu começar a guardar todos os londres dentro do electrics sears legal se eu conseguir guardar todos esses dados lá provavelmente esses dados vão ser dados de inteligência para eu conseguir inclusive monitorar todas as minhas aplicações e entender onde estão os erros aonde eu recebo mais me conhece sei lá erro 500 onde eu consigo ter mais erros mais acertos o consigo ter diversas informações e guardando logs dentro do 7

então não demorou muito para os camaradas pensar em criar uma ferramenta chamada the log esteche essa ferramenta lobbies teste coloca a idéia dela tá ela teve um início certo é com a idéia de manipular logs ou seja quero pegar um blog eu consigo pegar essas informações desse lobby e jogar praticamente dentro do electric sérgio praticamente é isso mas o negócio começou a ficar poderoso tá então o que acontece o o blog steffi ele acabou virando um coletor de dados em tempo real e como você pode ver aí na imagem eu consigo pegar dados de diversas

fontes eu consigo grupo pegar todos esses dados juntos eu consigo colocar esses dados uma pai peeling ou seja é numa espécie de uma esteira onde eu consigo manipular tratar transformar esses dados e depois eu consigo jogar esses dados é pra outros lugares inclusive pro celesc sérgio legal ou seja ele trabalha com o pai pilares você vai ver que você tem uma intuição uma altitude você tem a forma de filtragem você tem os plugins de filtragem legal do lloyds teste que é realmente extremamente poderoso legal ou seja ele recebe dados de múltiplas fontes ele normaliza e

transforma os dados e ele envia os dados também para múltiplas fontes está hoje inclusive você vai ver exemplos ea gente trabalhar com logs teste pra gente que trabalha principalmente na área do desenvolvimento está a trabalhar monitorando aplicações a melhor forma de você monitorar a aplicação na realidade acho que a única forma de você monitora a aplicação é através de lotes ah mas você tem que trabalhar de uma forma inteligente com lobbies você tem que conseguir coletar esses logs em tempo real você tem que conseguir extrair os melhores dados desses lotes em tempo real e conseguir

visualizar essa informação bem tratada em tempo real é isso que a gente está falando quando a gente vai falar dobbs teste legal uma coisa interessante também blogs teste é que você tem diversos plugins que você pode utilizar que facilitam muito a sua vida pra esse processo de filtragem normalização a partir de input é a parte de alte putin então realmente é algo extremamente fantástico e poderoso eu não vou ficar aqui enchendo apenas a bola eu vou mostrar pra você é é um exemplo mais pra frente como é que funciona a dinâmica de tudo isso para

a gente brincar um pouco ilegal e aí por fim a gente tem um camarada chamado de que bana tá e aí você olha essa imagem bonita aí e uma coisa que pelo menos eu gosto muito e eu acho que a maioria dos desenvolvedores gostam na realidade inclusive gestores é a parte de edson borges gráficos inteligência tempo real como que você consegue otimizar as coisas né e o que banda ele traz tudo isso pra você pegar o que bana praticamente é uma plataforma que ela roda em cima do leste site e baseado nas informações do leste

de santiago consegue trazer e construir pra você em tempo real gráficos ela consegue trazer a listagem dos seus lobbies por exemplo tem recursos de machine lane tem diversas integrações então assim que banda uma ferramenta extremamente poderosa normalmente e é muito fácil de utilizar apesar de quando você precisa fazer algo complexo é não fica bem brincadeira de criança tá mas é alguma ferramenta super legal para você conseguir utilizar e não tenho dúvidas que você vai gostar muito do que banda legal então o cubano é uma ferramenta de visualização e exploração de dados ela é usada com

nomes análise de séries monitoramento de aplicações inteligência operacional para tudo que você imaginar que você tem dado que você conseguiu colocar dentro do alex tite provavelmente o que obama vai conseguir te ajudar demais pra você conseguir tirar lapidar essas informações para você legal e o mais interessante é ter essas informações em tempo real tá não é apenas as informações e etc a informação os dados vão entrando e as coisas vão acontecendo ali pra você ele é integrado elas que sorte em agregadores de filtragem de dados você consegue criar os seus próprios dashboard então você pode

criar suas visualizações baseado nas suas visualizações você cria os dashboards e coloca suas vidas ali bonitinhas pra você você consegue criar o seu próprio painel de avião ali pra você é legal você tem diversos tipos de gráficos até não querer mais legal gráficos interativos inclusive então assim é uma super ferramenta assim que não deixa nada a desejar legal inclusive o que bana ele tem suporte a mapas legal então você consegue pegar se ela o mapa do mundo inteiro e eu quero falar olha as pessoas que estão acessando a minha minha plataforma tão vindo daquilo aqui

as minhas compras estão diminuindo ali eu consigo fazer ritmo é cara é muita coisa realmente da forma como você vai trabalhando legal agora eu acho que eu não sei se ficou uma questão aí que eu queria falar pra você que é o seguinte eu falei pra você que a nossa live hoje ea ser sobre e last kiss tete e depois no final das contas eu acabei falando pra você dá e lk steps afinal de contas qual que é a diferença entre ele caiu estética pra electric estética na realidade a diferença é a seguinte um famoso

camarada chamado bits legal olha só que maneiro o bits ele foi anunciado um 2015 ele acabou entrando na família legal então o que os caras perceberam eles falaram o seguinte o coxa o lobista teste ele consegue realmente tratar e pegar logo de tudo com trejeitos de diversas formas mas isso eu conseguisse criar pequenos agentes extremamente leves que eu conseguisse colocar nas máquinas nos servidores em tudo quanto é lugar e esses caras aí né a cada batida de a cada toque vamos dizer assim esse camarada fosse mandando essas informações aí tanto para o logos teste ou

até mesmo diretamente para o elektro chitão essa que foi a grande sacada do bits acabou virando uma família de componentes legal e eles definem o bits como light wahdah tashi per ou seja ele pega o dado hockey em entrega isso tanto pro leste de sirte ou quanto para os logs teste de uma forma extremamente leve ou seja você tem 10 mil servidores você instala o agente zinho esses servidores e esse a gente fica mandando essas informações ali para o céu e lecce que se fechou para o seu blog esteche legal então essa que é a

grande sacada do bits tá como você pode ver inclusive nessa imagem você vai perceber que a gente tem vários camaradas do bits você tem um audi tibi que o fae o bicho hit between love bites o pet biométrico bits tudo isso aí são são camaradas diferentes que tão que tem é que levam que entrego informações diferentes tanto por lojas teste ou quanto pro prolexic sert ok então praticamente é um agente coletor de dados ele é integrado facilmente com elas que sejam logs teste ou seja tudo que for love métrica dados de rede é dados que

têm que ser auditados nas máquinas nos servidores é verificar se algo está um menino não hã amy monitoring todos esses tipos de informação o bits consegue pegar esses dados e jogando aí pros camaradas legal e uma coisa que é interessante está apesar de ser muito difícil de acontecer pode ser que você tenha algum caso que nenhuma dessas ferramentas de bics e o que as pessoas criaram e disponibilizar o resolva seu problema então você consegue criar o seu próprio plugin vamos dizer assim do bits e fazer com que esse cara fique mandando pro e let the

sunshine of your love is teste é automaticamente legal então você pode construir o seu próprio beach legal então esse é o logo do bits e essa que é a grande ideia e essa que acabou compondo aí pra gente então a famosa e leste que estética legal então é basicamente isso aqui quando a gente está falando de e lecce x tec você tem o quê banda em cima lendo todos os dados esses dados estão todos no electric sert e quem coloca os dados no leste de sirte pode ser o bits ok ou o lobby 7 ou

mesmo o bits enviando por lobbies teste eo lobby 7 enviando os dados para o leste sert legal então essa é a famosa e leste estética que todo mundo fala muita gente acaba ficando com dúvida das ferramentas da e.life normalmente a galera só fica pensando no oeste 7 e daí começa a ver um monte de desenho outras coisas acaba não sabendo a então isso aqui é a base toda a idade alex text uma coisa importante está tudo isso é open source é licenciado free aí pra todo mundo utilizar ok porém o que acontece tem uma empresa

que chama e leste eu já tive o prazer aqui cara bonito é de visitá los em são francisco a empresa legal e grande parte das pessoas que trabalham nessa empresa é que não tem inclusive o ex sérgio bits e etc mas fora isso o que eles têm eles têm soluções para cloud eles têm clubes e recursos totalmente licenciados que são feitos apenas por eles ou seja se você quiser você tem que pagar ok eles têm produtos tá de monitoramento eles têm produtos de mapas sites sanchez enterprise servers apps ans de infraestrutura então eles têm muitos

serviços baseado nessa stec então se você precisa vamos dizer que o suor que o seu que obama acabe virando 1 mil relíquias da vida uma ferramenta de a pm a partir de a pm por exemplo do new rochelle é praticamente você consegue ter utilizando a cloud do e leste por exemplo tá então essa que é a grande diferença então você tem e lecce que a empresa e lecce que pontos eo ie essa empresa tem diversos produtos com a licença deles mas em torno da ferramenta da steck open source que é o electrics sears o faial

biofach obtinham o que bana logs techeye o bits legal então essa que a ideia aqui pra vocês entenderem toda a história e não fica dúvida realmente sobre o que é o quê em cada tecnologia porque é muita tecnologia é muita nomenclatura ao mesmo tempo mas eu acho que com isso já deu pra vocês tenha uma noção a e antes de vocês falarem eu não tô com a mesma camiseta daí beleza então vamos lá meu povo exemplos práticos de hoje a o que a gente vai fazer hoje qualquer a minha ideia aqui a idéia inicial nós

utilizaremos logs teste para importar um banco de dados de cidades no oeste sérgio roque ou seja tenho um arquivo que é um banco de dados tal arquivo csv que é um banco de dados de cidade ok então tem uma porrada de cidades do mundo inteiro um monte de informação dessas cidades qual é o país qual é o nome latitude longitude qual é o estado população eu tenho um monte dessas informações o que eu quero fazer eu quero um seguir importar facilmente essas informações do oeste sérgio utilizando lobbies teste eu quero criar um pai chart um

barzinho de pizza trazendo sei lá os países com mais cidades de forma agrupada ali pra gente legal então é esse aí é um dos exemplos um outro exemplo é eu quero utilizar com vocês o fahel beach é o lobbies teste para importar um conjunto de blogs do apache a gente vai conseguir visualizar todos os lotes no apache ea gente vai entender um pouco mais sobre o padrão groke e como ele pode facilitar nossa vida para manipular dados ou seja eu vou mostrar pra vocês quando os dados chegam até o lloyds teste como que a gente

consegue manipular todas as informações para que quando elas sejam indexadas no ms que sanchez fique tudo muito mais fácil para você fazer suas pesquisas suas validações e tudo mais tá então é esse é o grande ponto tá que [Música] a gente tem hoje que a nossa tarefa é aí que a gente vai brincar para fazer legal então bora lá vamos colocar a mão no código pra gente é não perder mais tempo vamos lá a ver é claro antes disso eu só queria fazer uma pergunta aqui pra galera né alguém ficou com alguma dúvida é em

relação a isso somente para saber né às vezes eu já saio falando pra caramba e etc se alguém ficou com alguma dúvida faz uma pergunta pra mim eu vou dar uma olhada no chat aqui enquanto eu organizo aqui as minhas telas para eu conseguir trabalhar tá pra eu conseguir fazer a apresentação pra vocês beleza e é claro se você não curte o nosso canal curto segue a gente não arroba deve fools aiko de amanhã tem lançamento fica de olho no seu email logo cedo que amanhã o maior lançamento do nosso ano legal então fica ligado

pra você não perder fechou a então maravilha galera seguinte seguinte deixou preparar então aqui as coisas eu acho que ficou claro não foi nada também tão complexo mas acaba poupando muito tempo do que você ficar lendo online exceto então acho que uma plena mar a explicação um pouco mais estruturada faz mais sentido aí pra vocês fechou então maravilha meu povo que eu vou fazer agora te deixa eu organizar as minhas telas um share maravilha deixa eu ver se todo mundo consegue enxergar o meu visual studio coach tá eu tô aqui com o meu mil tube

no meu celular também então eu consigo ver como é que fica aí na tela e pra vocês acredito que está tudo em ordem fechou então meu povo vamos lá quero contextualizar vocês aqui legal seguinte tenho o meu terminal ok depois eu passo para vocês tá é eu peguei uma imagem é um dock com pouso eu fiz um clone de uma de um repositório de um camarada na internet onde ele tem um toque com pose que basicamente sobe pra gente olesc sert sobe pra gente o que bana e sobe pra gente também o lobby dos testes

tá então essa é a ideia eu vou utilizar o toque pra ter todos esses ambientes para a gente trabalhar mas pra ficar mais fácil pra falar a verdade na forma como a gente vai trabalhar hoje aqui eu poderia fazer isso inclusive tudo na minha máquina não teria nenhum problema no final das contas tá mas de qualquer forma vamos organizar tudo isso qual é o meu objetivo aqui então pessoal eu tenho aqui algumas pastinhas ea primeira pastinha que eu quero que você se preocupe a primeira não nesse momento a única essa passa aqui chamada de logs

teste tá essa pastinha clogs tess ela simplesmente é muito simples tá então é uma coisa que eu quero deixar claro pra você está deixa o download galera eu não sei se vocês já perceberam mas tudo o que você fizer por exemplo você vai dar um download logs teste download fahel beach download lá seja tudo galera é muito simples é baixar um arquivo e descompactar e depois você vai rodar um executável e passar o arquivo de configuração para ele é somente isso tá por isso que eu estou dizendo assim é muito tranqüilo para você trabalhar com

alguns testes e é exatamente isso que eu tenho aqui ó eu tenho uma pastinha logs teche tá essa paciência csv eu criei aqui dentro só para guardar aquelas cidades que eu falei do mundo que a gente vai trabalhar tá então e aqui eu tenho uma pastinha chamada paripe laine que é onde eu tenho as configurações legal então como é que vai funcionar isso aqui galera seguinte nesse config aqui do blog esteche tá eu tenho algumas configurações simples que eu não preciso nem mexer que ele simplesmente está falando onde ele vai se conectar no ms 7

e assim aqui do meu website praticamente nesse ponto você nem vai mexer legal aonde você vai mexer e ainda é aonde você ainda vai mexer ainda junto comigo no final das contas é aqui nesse arquivo que fica dentro de pai pillai me chamado logs teste pontocom fi legal nesse arquivo aqui que toda a mágica vamos dizer acontece legal porque porque a gente tem um input ea gente tem uma altitude o que isso significa que aqui é como que a gente vai se comportar com a entrada dos dados e como que o que a gente vai

fazer com na saída dos dados legal olha só que interessante pra você a galera olha só que maluco que muito louco mesmo eu vou escrever aqui ó olha só http abre e fecha somente isso ok eo altitude que eu vou dar aqui eu vou colocar std out ou seja pra sair na na minha saída padrão aqui no meu computador legal o que significa significa que tudo que eu receber de requisição ele vai receber e vai mandar esse camarada aqui de volta esse é o tipo ç poderia ser um arquivo poderia ser no leste sears poderia

ser um kafka poderia ser em tudo quanto é coisa tá mas isso aqui é somente pra eu mostrar pra você como que essa parada acaba ficando bem simples eu vou fazer o seguinte eu vou a um dock ter com pouso ap - de aqui pra subir tudo já tinha já tinha colocado ele no entanto mudar um dock com pouso restart log esteche legal então eu tô aqui e dando um restart aqui no blog esteche beleza e agora aqui no meu blog teste eu consigo colocar fim a lobbies logs testá isso aqui é um recurso do

doc somente para ver o que tá rolando lá no meu blog esteche isso aqui é a loja antigo meu tá galera acho que é até melhor o matar esse camarada existe uma tese container subir de novo dock com pose da ufsc vai ficar melhor do que a compôs a primeiros de vamos ver se ele queria ficar melhor dessa forma ele está subindo agora aqui o meu blog esteche tá demora um pouquinho a gente tem que esperar mas o grande ponto é o seguinte assim que o lobby teste ele estiver de pé o que vai acontecer

na primeira vez inclusive demora mais pra sobre o que vai acontecer a gente aqui a 1 subiu aguardando na porta aqui tc subinhou lowndes teste olha só que maneira o que eu vou fazer eu vou pegar aqui eu já tenho aberto aqui o meu poço é legal o meu posto aqui eu vou colocar o lá e vou dar uns and aqui pra mim é legal eu recebi aqui um ok como luiz ponce que foram foi o próprio logs teste que deu pra mim olha só que maneira agora eu recebi uma requisição com a mensagem olá

conversão tal no horário tal através de uma extensão do chrome a linguagem todas as informações que eu recebi via http estão aqui agora no lloyds teste legal ou seja olha que maneira o log teste ele simplesmente cuspiu isso como ao tipo ç pra mim é legal então é bem simples dessa forma mesmo tá ou seja você manda informação eu falei que para ele utilizar que um plugin http e eu falei olha quando você receber http mandar informação que você recebeu aqui não é se de alte simples assim ok ou seja os blogs teste de forma

geral o conceito é a idéia principal dele é extremamente simples então é exatamente essa simplicidade que eu quero tentar trazer e mostrar para você hoje legal como o que eu quero mostrar essa simplicidade e pra não deixar as coisas assim mais complexas assim pra você eu quero pegar esse arquivo csv ok onde eu tenho uma porrada de cidade em cidade blá blá blá blá blá blá a favela mas consegue se ver bem grande e eu quero pegar essas cidades e simplesmente jogar esses camaradas xtá no lsd 7 esse é o meu objetivo agora aqui o

grande ponto é que olha só que interessante tá olha só que maneira eu vou pegar uma dessas cidades aqui ó vou pegar uma linha desse camarada aqui e vou jogar aqui no meu posto dessa forma aqui e vou dar o sangue bem uns and agora eu vou chegar aqui no meu blog esteche e olha só o que eu vou receber aqui uma mensagem com esse melhor que vão com o resultado desse meu arquivo csv mas dessa forma se por exemplo eu fosse mandar por exemplo proex artes ia ser ruim eu tenho uma aqui chamado mensagens

e aí um monte de dado ali que não faz tanto sentido pra mim é legal então como eu consigo filtrar e tratar melhor essa informação antes de eu jogar por exemplo num e leste e sudeste da vida e é por isso de logs teste ele tem uma ferramenta fantástica que é chamado de filtros legal você consegue filtrar informação e trabalhar com ela olha só que interessante que eu quero mostrar aqui pra vocês antes do alto tietê eu vou colocar aqui escrito filter e aqui dentro de si filter eu posso fazer um monte de coisas tá

eu posso convertê dados eu consigo adicionar campos eu consigo remover campos eu consigo tratar campos e eu consigo inclusive manipular arquivo csv ok então olha só que maneiro eu vou pegar aqui e vou colocar um plugin aqui um filtro dsv legal e eu vou falar o seguinte esse plugin csv ele tem essas colunas aqui que eu já tenho são essas colunas que eu já tenho assim táxi é bem simples inclusive né se você perceber basicamente eu tenho sete ver e eu fiz uma setinha pra cá e eu tenho todas as colunas são essas aqui foi

daqui que eu copiei elcires sírias que e latitude longitude tem todas essas informações aqui legal deixou salvar isso aqui eu vou dar um restart aquino 19 testes restart no one's teste pra ele reiniciar este pai pillai nosso aqui para garantir que fica bem simples legal vamos ver os logs aqui pra ver se já está pronto tá iniciando ainda ó camarada opa ele deu um chefe da 1 aqui pra gente ele deu um chute dão eu fiz alguma besteira eu fico falando que as coisas são fáceis e no fim as coisas não são fáceis elas dão

erro vamos ver que eu fiz de errado aqui eu tenho aqui o meu csv dentro do meu filho ter meus sv csv né não ser vs eu vou falar isso pra vocês pessoal aqui em orlando tem um orlando nos estados unidos inteiro acho que tem tem uma bendita de uma farmácia que chama c vs então toda vez que eu vou falar em csv eu misturo com famosa cvs e dá no que dá mas ok vamos lá aguardar subir pra ver se não era só isso taipe lines running aqui maravilha o que eu vou fazer agora

eu vou pegar uma dessas linhas aqui que está no formato de csv vou jogar aqui no meu posto mas já tava que inclusive eu vou dar uns and agora que eu vou ver o blog novamente ele trouxe um blog mas olha só a galera cidade longitude canto e capital sírias que admirei me population está vendo todas essas informações que estão no mês as também ele criou um campo para cada cidade simplesmente porque eu coloquei esse plugin vizinho ac dc sv colocando as colunas que eu queria trabalhar obviamente que eu consigo tratar muito mais eu consigo

colocar qual é o seu papel separador eu consigo é um plugin que ele é bem completo no meu caso meu set era bem simples então não precisava nada mais do que isso mas perceba tá que olha a facilidade que eu conseguir trazer nesse meu caso tá e se eu não me engano eu não lembro de cabeça está muito errado mas acho que eu posso colocar como tate movie field e daí quando eu dou lhe move field eu posso por exemplo remover o meu campo mensagem que dá eu não preciso mais dele mas eu não vou

fazer isso agora eu posso adicionar outros filmes também eu posso convertê dados que estavam sei lá um líder para floating para stream eu consigo fazer milhar eu consigo rodar expressões regulares eu consigo fazer if tá eu consigo fazer e fiz a cidade é dos estados unidos então não trata dessa forma se não faz tudo maiúsculo eu consigo fazer tudo isso tá eu consigo depois que está colocado eu consigo fazer coisas fantásticas eu consigo fazer tipo assim ó if siri eu posso até colocar tipo assim uma expressão regular no formato de cidade tiver o nome de

tampa sei lá né que a capacidade de nos estados unidos aí por exemplo remove ou muda a população saca mas assim é tudo muito simples de você conseguir trabalhar aqui com isso tá então olha só quanta as linhas eu tive que fazer pra utilizar o lloyds teste mas é óbvio tá é óbvio que ninguém vai ficar trabalhando só com requisição http principalmente eu já tenho um arquivo com todas as cidades aqui pra mim então nesse caso o que eu vou fazer eu vou adicionar mais um tipo de autismo de input é o meu filho o

meu pai eu vou falar o seguinte olha o pf pra esse arquivo é a pasta a barra csv barra show copiada aqui pra não ficar nome errado né csv eu posso colocar também assim um start position para ele começar a pegar os arquivos do início do guia nem dessa forma ou seja agora quando ele foi fazer essas essas coisas ele vai ler tudo isso dos arquivos e vai jogar a informação pra cá simples assim ok mas eu também não quero ficar jogando isso aqui pra minha tela ok então o que eu vou fazer aqui nesse

meu caso eu vou jogar esse camarada para o meu ex at então olha só colocação e leste do pa e leste que sert oeste e santi aí eu vou colocar hosts porque eu posso ter mais um rosto e west tec 72 pontos [Música] 9201 z west-tec chen deming e o nome do index que é um nome que eu vou criar que o índice o nome do índice eu vou chamar esse dia se seres ok então qual é a minha idéia quando rodar isso aqui ele vai ler esse arquivo rodar essa transformação e jogar as informações

para esse rosto aqui do e leste set praticamente é isso aqui que eu quero fazer vamos ver se eu não combinei uma gafe aqui vou rodar néné bom aparentemente não ganhou nenhum erro assim de cara no meu computador né o obstetra che ainda está de pé então o que eu vou fazer eu vou entrar um camarada aqui chamado cubana se eu colocar aqui essa url ele já está de pé o cubano ele tem a senha e leste aqui a senhora tinha de mim e agora eu tenho que verificar se o índice foi criado então vou

chegar aqui vou index patterns vou ficar aqui criei de índex patentes e olha só que maravilha siris aqui tá vendo ou seja foi aquele índice que o blog teste colocou aqui pra gente eu vou colocar aqui o índice não preciso colocar o time sempre aqui nesse meu caso criar esse padrão de índice e pronto galera olha só que maneiro se eu cheguei agora aqui todos os dados daquela minha cidade já estão aqui no meu ex arte simples assim além disso com mais informações que eu precisava só tem toda os dados da mensagem que quero arc

o os dados que vieram né mas separados pela aquele filtro do csv legal a atitude longitude iso 2003 a idade da cidade capital tem algumas que têm admnews sei lá acho que o prefeito eo prefeito da cidade e etc é a população então já tenho todos esses dados aqui que eu consigo trabalhar legal e tudo isso eu já consigo vê-lo cubana e se essas informações tivessem entrando ainda aqui pra gente um tempo real a gente conseguiria vendo essa informação caindo aqui pra gente o mais maneiro é que você pode chegar aqui criar uma nova visualização

se ver se eu consigo criar uma rápida aqui eu falo quero criar uma visualização baseado nas cidades para ele contar numa agregação de um termo baseado no país que é no canto e para ele trazer a quantidade desse quantidade de registro que tem no mesmo país que significa a quantidade de cidades no final das contas eu vou fazer isso pelos últimos será mil registros e pronto olha só que maneira a galera o gráfico aqui pra gente já está pronto tá ou seja estados unidos nesse arquivo tinha 4864 cidades representando 37% rússia china a todos esses

caras aqui ah se eu não quiser mil cidades eu vou colocar aqui sei lá eu quero colocar as dez primeiras cidades fica assim mas as que não estão colocadas eu vou colocar assim ó outras aqui pra mim e vou dar um show aqui pra mim agora o que acontece eu tenho a maioria aqui pra mim o peru não atualizou no final das contas não é bobo com o som é bom eles atualizar o que eu queria fazer eu não vou ficar perdendo tempo com isso mas o fato galera olha que massa eu acabei de criar

esse gráfico uma facilidade extremamente simples pegando um dado que é muito fácil tá eu posso simplesmente criar salvar ao colocar aqui países versus cidades acabei de salvar e já tem essa minha visualização se eu quiser chegar aqui em algum momento de criar um dashboard eu vou consigo criar um dashboard adicionando visualizações aqui dentro entendeu então assim é muito simples o dom é jack países versus cidades prontinho já está aqui no meu dashboard que eu consigo controlar tamanho tudo mais e eu escolho essas informações são dos últimos 15 minutos porque isso aqui pode mudar a cada

minuto por exemplo tá só que pode mudar a cada segundo tempo ele fica processando isso o tempo que for roque então olha só que maneira o que é esse tipo de informação que a gente acaba trazendo a e nestes casos beleza é isso aí era uma coisa que eu queria trazer para vocês outra coisa que eu queria trazer é fazer a mesma coisa agora mas usando o fire whip it legal o fire beach ele é tão simples ele acha que ele é mais simples ainda do que necessariamente logs teste está porque olha só que maneira

como é que eu instalo fahel beach no meu cliente eu faço o seguinte download foi o beach a oeste entrou aqui e baixe o arquivo e diz compacto e só tá isso aí já vai deixar meio que pronto que você precisa fazer saber legal aí o que acontece olha só que maneiro eu já disse compactei meu firewall beach aqui não tem nada mais de si já fechar esse baile aqui olha só que maneiro no faial beach eu tenho diversos arquivinho saque no momento você só vai se preocupar com um que é o arquivo de configuração

do faial beach que o fire bit.ly que é esse cara aqui ó você abrindo ele ele vai falar o seguinte pra mim pra você qual é o tipo de input log mais e love que está ativado normalmente isso vem como falso você coloca como true legal e aí você fala qual é o caminho que você quer monitorar a caso tenha mudanças em arquivos e neste caso aqui eu chamei de apache ponto lobby porque porque eu criei um arquivo aqui chamado apache ponto blog que tem 1 trilhão de arquivos de apache de logs de apache eu

busquei na internet não são logs meus nem sei de onde eles vieram tá aí peguei no beach rugby de alguém tá então o que vai acontecer aqui com o meu pai orbit ponte e mon praticamente ele vai ler esse meu arquivo apache ponto log e daí ele vai perguntar pra onde você quer que eu envie aí ele pode assim você pode mandar direto pro electric sert ou você pode mandar pro blog esteche legal o que eu vou fazer no final das contas eu vou fazer ele enviar pro logs teste pra gente poder mexer um pouco

mais nesse arquivo legal então olha só o que eu vou fazer agora que o fahel beach já está configurado perceba galera é só isso de configuração tá é só isso de configuração óbvio se estiver longe mais complexo mutilá em você pode configurar passo a expressão regular e etc mas de forma geral é só isso que a gente vai fazer nesse arquivo tá aí o que a gente vai fazer simplesmente e se a parte ponto lodja ataque o que eu vou fazer eu vou voltar aqui também no meu lote esteche dentro aqui do meu blog teste

da pastinha do arquivo aqui da pastinha pipe line eu vou criar um outro que vinha aqui que eu vou chamar de apache pontocom que vai ser um outro pai pela aí que eu vou fazer caso eu vá receber arquivos legal e quais são os arquivos que eu vou receber ou receber os lotes do apache pontuou receber lobbies então nesse meu caso praticamente da mesma forma como qualquer coisa eu tenho um input eu tenho filter e eu tenho ao tipo ç beleza é praticamente isso que eu tenho aqui no meu a partida.com fi legal mas olha

que maneira o que eu quero mostrar aqui pra vocês antes de a gente chegar nesse ponto antes de a gente mandar os arquivos tá blogs testes a gente vai fazer o seguinte olha só que maneiro alguém aqui já falar em groke um padrão groke tá o que serve o groke o groke serve pra gente conseguir manipular informações é que estão em qualquer padrão legal então olha só que maneira eu vou aqui pegar uma linha daquele meu apache nós que já tenho que deixar separadinho pra vocês aqui ó aqui ó é uma linha do blog do

apache tá só que há uma linha que chama glock deu de bander dá pra fazer isso lá no cubana também tal senhor aquino cubana se eu for em débitos você vai que grupo de banner se coloca os seus dados de exemplo aqui ó e aqui eu falo qual é o meu padrão groke que eu vou usar e eu posso falar o seguinte olha aqui eu vou utilizar assim ó eu vou colocar eu coloco o nome do padrão que eu quero utilizar dois pontos do campo que eu quero que ele vire então por exemplo fala-se isso

aqui vai ser um ip nome do campo vai ser o ip eu vou dar um sim leite e ele já vai perceber que logo no início aqui já tem um ip ok e ele já transforma isso aqui a e essa parte aqui isso aqui ah eu posso e fazendo o padrão se dando certo eu posso repetir nos dados por exemplo e perceba que ele ainda está batendo os dados aqui tá batendo os dados ou parou de bater porque eu provavelmente vou ter que passar uma inspeção regular aqui nesse colchete aí 17 eu posso falar que

é um lambe tá eu posso usando expressões regulares para conseguir extraindo todas essas informações aqui pra mim conforme vá precisando o grande ponto é que muita gente já fez isso e os caras criaram esses paternez aqui do glock tá vendo então se eu quando eu falei que eu ia usar ip ele está rodando uma expressão regular aqui que pode ser tanto e pb 6 ponte pv 4 se for o ipv4 essa aqui é a expressão regular que ele usa para fazer o ip se forem pv 6 é esse aqui sabendo então se for caminho de

arquivos está vendo então ele tem padrão de tudo quanto é jeito mês dia e etc então isso aqui é muito massa tá por que por que te ajuda a pegar tudo quanto é tipo de informação de uma forma muito simples está e como o apache já é algo muito comum existe um padrão groke está pronto se você coloca assim ó como apache blog olha só que maneiro colocá-la no cubana que fica melhor para vocês olharem macho olha só ele está pegando todo esse lobby do apache e está transformando isso em campos tá vendo que eu

posso usar ou seja tem r conhece a autenticação o verbo http o sponsor o número de bytes o ipê http verso timestamp disso aqui ou seja perceba que com isso aqui eu consigo fazer um filtro muito maluco utilizando esse padrão groke ok então olha só o que eu vou fazer agora então aqui eu acho que já me pegaram já pegaram uma idéia eu vou fazer o seguinte eu vou colocar assim ó bró ke ha eu vou dar um médico no met aqui eu vou falar o seguinte olha na sua mensagem que é onde é o

campo onde sempre fica a informação que vem o blog né eu quero que no final das contas isso aqui vire um como apache log cara simples assim e ele já vai transformar cada campo certinho do seu blog em campos pra ficar mais fácil para o lecce que cech indexar legal o mais maluco ainda que o copio isso aqui pra ir no electric sérgio helt puty vai o se7e o input você não vai acreditar que o pai e um input você não vai acreditar a dificuldade a gente vai utilizar o fahel beach não vai ora só

que dificuldade bits aí eu tenho que colocar porte 5 meu galera tá pronto esse pai pioline para pegar os logs do apache que ficam rodando numa máquina no servidor usando bits o governo promete que sanchez de forma totalmente tratada para conseguir extrair as informações que eu quiser legal agora uma coisa você tem que tomar cuidado todos os dados que caem do apache também vão cair neste do obstetra xvii e você tem que tomar cuidado pra isso aqui não querer virar csv tá então o que a gente pode fazer pra esses dados não serem tratados como

o csv a gente pode tratar da seguinte forma sempre quando um dado vai se dodô do faial beach ele tem um tipo de agente rock que chama fahel beach o agente type of fire beach então nesse caso aqui o que a gente pode fazer simplesmente eu posso colocar se no if a gente e gente type foi diferente né de fahel beach aí sim uso essa parada aqui do csv senão ele vai querer atacar ccb no meu blog do apache eu não quero isso é legal eu acho que é isso eu acho que tá feito vamos

ver se vai funcionar agora aqui pra eu fazer isso aqui funcionar eu vou ter que fazer duas coisas uma coisa rodar o fahel beach tá eu já tenho aqui e reiniciar o meu blog teste então vou dar um start no lloyds teste e não falhou beach no fim o be que eu vou fazer assim o fahel beach - e menos é para ele ficar mostrando o outfit na tela os logs na tela pra gente saber o que está rolando tá então olha só que interessante ele está tentando é mandar os dados mas ele não está

conseguindo se conectar ele não está conseguindo se conectar e porque ele não está conseguindo se conectar provavelmente porque o meu é moldes teste estava fora do ar porque eu estava iniciando tá então esse aqui é um motivo pra isso aqui tá acontecendo vamos aguardar mais um pouquinho para ver se ele tenta novamente mais uma conexão aqui com laudes teste quando ele consegue a conexão ele fala que a conexão foi é estabelecer e deixa eu ver como está o log do normal de teste um lote está fora do ar realmente eu fiz alguma coisa de errado

aqui nos meus amiguinhos a paz ponto com os beats filter groke deixa eu tentar pegar onde que eu errei a [Música] deixa eu fazer o seguinte para ficar mais fácil eu vou comentar toda essa parte online aqui somente para garantir que o problema no coisa que eu não quero ficar tomando sua hoje aqui no meu aniversário né e todo mundo me compreende vamos aguardar desse cara sobe se ele subir e cair é porque está na opa bits aqui o star team server o patinho erro meu if provavelmente agora vamos ver se ele se conecta a

ver se esse camarada se conecta aqui e alguém me falou que os dois estavam com o nome de siri também né porque isso aqui vai dar uma dor de cabeça vou chamar isso aqui de apache ou renomear o nome do meu arquivo de apache ponto log lutz os meus arquivos do apache vão ficar nos ativos da cidade vão ficar alojados como de cidades que haviam vamos lá eu estava errado sexual estava errado ishii e type que estava errado né galera beleza vamos lá vamos aqui eu vou reiniciar esse cara aqui vou parar no faial beach

eu vou subir no foi obtido apesar que eu acho que ele não vai mandar o mesmo arquivo duas vezes vamos ver ele tem uma paradinha que é um arquivo vinho onde ele mostra o histórico da onde que as coisas já foram entendeu isso aqui no meu pai orbitz eu vou duplicar esse log in love 2 eu vou aqui no meu farol bits ponto e irmão eu vou colocar a partilha de 2 vou salvar e vamos ver se vai conexão establish daqui então pelo jeito caindo agora os meus blogs de forma correta vou aqui no meu

que ban na pata isso vou criar aqui e apareceu os meus blogs do apache vou criar meu índice vou falar que eles podem vir como time sempre vieram e agora que eu vou mudar de siris pra apache está aqui os meus blogs do apache chegando legal e aqui eu tenho todas as informações que estão mandando desde o agente que é o fahel beach que está mandando informação o meu rosto e me que o mac mini que o meu computador eu estou utilizando é o sx http versam ele traz todas essas informações ela era então e

tudo isso aqui ó é tempo real e com baseado nessas informações se consegue criar os gráficos que você quiser eu consigo criar gráfico e falando olha desses meus caras quais são as minhas médicas quanto os http 201 teve quando http 500 eu tive enquanto 404 eu tive você pode fazer as comparações e pode fazer o que você quiser com essas informações ok então esse tipo de informação esses tipos de stec são coisas que você precisa saber para monitorar a sua aplicação como é que monitora sua aplicação hoje tem cliente que tem gente monitora ao cliente

ligou e falou que deu problema não é esse é o seu monitor né agora se você tiver um monitor de mostra a quantidade de logs de erro que você teve quais são os tipos de log que você teve é o cara é uma infinidade de coisas né a quantidade você consegue verificar se a sua aplicação está fora do ar sem nunca fora você consegue monitorar pode de kober net consegue muito monitorar container de docker não dá pra fazer tanta coisa com isso aqui que é um outro mundo a então essa é a informação que eu

queria te trazer hoje meu querido é aluno né que eu considero cortar aqui comigo hoje essa hora da noite no domingão vendo a gente falar de e leste quitá é eu realmente eu realmente espero aí que você tenha gostado legal e realmente acredito que esse tipo de informação mostrando assim na prática mesmo que sejam exemplos extremamente simples tá vão fazer diferença para a sua carreira profissional afinal de contas hoje em dia o programador não só o programa 'tá programadora profissão programador já está sendo extinta agora é desenvolvedor desenvolvedor é o camarada que desenvolve soluções e

esse cara que desenvolve soluções tá virando um cara chamado deve flu sayko onde ele começa a desde o desenvolvimento até a monitoração monitoramento da aplicação tá então esse ciclo todo você precisa saber legal então essa era a grande informação tá que eu queria trazer para você hoje é eu sinceramente eu não sei se você já conhecia ou não mas espero que você tenha gostado é isso aí