Tutorial Anything LLM (Treine qualquer I.A com dados) de um jeito simples

fala pessoal sejam bem-vindos a mais um vídeo aqui é o Mateus tá você está no canal comunidade Decode no vídeo de hoje a gente vai falar sobre o N10 llm Tá que é uma ferramenta muito top aí para vocês estarem usando que vai te permitir treinar sua base de dados sobre algum assunto qualquer assunto que você quiser documentos que estão aí no seu computador para que a ia possa te responder com base nessas informações tá pessoal Então essa ferramenta é fantástica que eu venho mostrar para vocês hoje tá ela é bem parecida com o conceito

do chat ept só que ela é open source e ela te permite usar qualquer modelo de ia hoje open source ou até desses que a gente já conhece no mercado o próprio chat GPT o Mistral ou até o lhama do Facebook você pode conectar com ela e usar o poder da ia junto com a sua base de dados local então para você que tem uma empresa onde tem dados sensíveis e você não quer compartilhar com um GPT da openi Ou você quer ter esses dados de forma mais privada apenas no computador da empresa você pode

treinar sua base de dados de conhecimento com pdfs arquivos csv arquivos HTML enfim e tá injetando esses dados todos paraa ia que ela vai te responder sempre que você fizer uma pergunta consultando a sua base de dados e usando o conhecimento da Inteligência Artificial também para te responder a melhor resposta ali eh para o teu contexto tá pessoal Então essa ferramenta é fantástica a gente vai trazer o vídeo hoje sobre ela desde a instalação do zero até o avançado mas antes de mais nada já se inscreve no canal estamos recomeçando aqui no no YouTube tá

o nosso canal principal foi banido como vocês já sabem para quem não viu o vídeo ainda deu falando sobre isso vai est aparecendo aqui no card e talvez o YouTube volte aqui o nosso canal principal que foi ido sem nenhum motivo tá pessoal mas enquanto isso vamos Seguindo aqui com esse secundário que é o nosso novo principal Então já se inscreve aí já senta o dedo no like pro YouTube ver a nossa força aqui e no nossos conteúdos que a gente sempre tem postado por aqui e é isso Beleza vamos aqui pra instalação do ntlm

comenta o que você achou do vídeo que é muito importante para o nosso crescimento e bora pro tutorial pra gente tá baixando aqui o programa do N1 llm basta você vir nesse link vai est aí na descrição tá e clicar na opção que melhor for aí para o seu sistema operacional Se caso você utilizar o Mac você vai de Mac Se caso você utiliz Windows ou Linux você vai conforme as opções Beleza então clico aqui ó eu já baixei tá antes da aula começar mas você vai escolher aí no teu computador ele vai baixar para

você a versão E aí após download vamos clicar aqui para instalar e o nosso programa Beleza então clicamos aqui ó ele vai iniciar a instalação tá vamos aguardar aqui Windows mostrou alguma mensagem mas isso aqui é tranquilo tá pessoal ele não não tem vírus Esse programa aqui podem ficar tranquilos clicamos aqui e a ele vai começar a nossa instalação beleza iniciou aqui a instalação ó ele já vai automático tá pessoal então perceb que o ícone vai ficar aqui ó na na área de trabalho tá e quando ele terminar de carregar essa Barrinha aqui vai aparecer

esse ícone aqui na sua área de trabalho já para você acessar o NT llm Beleza então basicamente essa a instalação não tem segredo vamos aguardar aqui o período é bem rápido que ele instala tá menos de 10 minutos 5 minutos na verdade ele já já tá instalado ali tá E é isso então pessoal como podemos ver o ntlm foi instalado aqui tá já tá na nossa área de trabalho como eu já tinha ele ele já iniciou para mim aqui com algumas informações mesmo eu tendo reinal lado ele Já puxou essas informações aqui Beleza então vocês

podem ver já aqui o resultado do NT llm Beleza então no vídeo anterior que a gente fez eu comparei a velocidade do lama 3 com o a velocidade do chat G pt4 Turbo tá e o lama 3 ganhou certo e aqui eu subi aquela base de dados para dentro do NT LM e fiz as perguntas aqui para ele usando o modelo do lama 3 como l M aqui dentro tá E ele e passei aquela base de dados em arquivo csv com dados tanto do liama 3 quanto do GPT 4 tá E aí fiz algumas perguntas

aqui beleza mas vamos ensinar vocês aqui o passo a passo de como usar essa ferramenta para você jogar dados aí que você tenha no seu PC para cá E aí a ela vai memorizar esses dados e lembrar ali cada vez que você conversar com o chat ela vai lembrar as coisas você tá perguntando e ficar mais inteligente conforme você vai conversando com ela beleza então vou deletar esses workspace que eu criei até agora certo então assim quando você acessar aí O o ntlm você vai abrir uma tela ali tá que ele vai pedir para você

Qual modelo de a que você quer usar e configurações básicas que todo o programa tem inicialmente tá pessoal aqui para mim como ele já abriu nessa tela aqui ele não voltou pra tela inicial eh quando você rein quando você desinstala o software beleza Ele já pegou arquivos que ele tinha em cche aqui em memória no meu PC e quando eu reinstalei ele Já identificou isso Beleza mas é bem simples vocês estarem eh configurando ali a etapa Inicial são quatro Passos É só escolher o llm ir pra próxima tela aí ele vai te pedir a base

de dados vetorial você só dá um next tá nem precisa configurar nada e vai pedir o seu e-mail também Aí você coloca ele vem para a tela principal que é essa aqui beleza aqui eu deletei meus workspaces Tá o que que é um workspace nada mais é do que uma pasta onde você vai clicar aqui ó eu vou digitar eh teste 1 2 3 e vou salvar ele vai criar uma pasta Onde eu posso ter vários chats igual o chat ept mesmo eh aqui dentro certo então ele cria o workspace que é essa pasta e

coloca um chat chamado default que é o chat e a você pode criar quantos chats você quiser aqui ó certo então tenho esse chat tenho esse e eu posso perguntar coisas diversas para cada um deles sei lá quem foi Edson Arantes vamos ver se ele vai reconhecer que é o Pelé tá aí ó mais conhecido como Pelé reconheceu tá vamos perguntar aqui sei lá quem foi o primeiro homem a pisar na Lua ele vai puxar aqui também certo então eu tenho aqui os chats ó que a gente vai configurando E aí você pode conversar dentro

desse workspace então se eu crio um novo workspace eu coloco aqui aula NT llm tá salvar se eu crio um novo workspace eu tenho esse primeiro com a minha conta quantidade de chats que eu tenho nele aqui E esse outro aqui com a minha quantidade de chats Por que esses workspace são tão importantes porque neles pessoal a gente vai conseguir subir os dados que a gente quiser treinar com as nossas ias certo então perceba ó eu tenho vários chats aqui e no workspace Eu tenho esse ícone e esse ícone Esse aqui serve pra gente subir

os nossos dados do nosso computador para uma base vetorial ele vai pegar os arquivos que a gente passar igual eu usei aqui ó o nosso eh arquivo de benchmark Vamos colocar Assim entre o Lhama 3 e o GPT 4 Turbo que a gente fez a comparação no vídeo mais recente que é o vídeo anterior a esse tá inclusive dá uma olhada que o Card vai est aparecendo aqui você também pode colocar o link de um site que você quer que ele baixe o HTML desse site com as informações paraa sua base de dados certo e

aí ele vai usar essas informações para poder ficar mais inteligente ali dependente do modelo de ia que você queira usar seja uma ia local com o olama seja o chat PT seja o grock com o Lhama 3 ali do Facebook qualquer ia que você quiser utilizar aqui beleza então vamos lá e aqui tem isso pra gente subir os nossos arquivos e aqui tem a configuração de um workspace para configurar um um workspace Você vai clicar aqui ó ele vai ter essas quatro Abas General chat settings vetor Database e a gente configurou beleza a única que

vocês precisam focar por hora é essa aqui ó chat settings Database vetorial eu falo mais sobre isso lá no nosso curso privado tá o circuito criativo que eu vou estar deixando o link aqui para quem quiser saber mais entre no nosso grupo do WhatsApp tá que por lá eu dou mais detalhes sobre a nossa comunidade do circuito criativo onde a gente tem um curso completo sobre a vetorização de dados criação de Agentes para empresas ali agentes autônomos tá onde você coloca ia para trabalhar de fato dentro de uma empresa fazendo tarefas fazendo ações ali certo

então fique à vontade para ver isso aí na descrição e nos comentários fixados aqui OK vamos lá clicando aqui eh a gente vai vir aqui paraa parte de chat settings certo e aqui no chat settings você vai poder escolher o modelo de a que você quer usar aqui dentro do seu workspace então você clica aqui ó você pode digitar o grock que é o que eu tô usando atualmente certo você pode selecionar o antrop a Open ey E clicando em qualquer um desses aqui ó ele vai aparecer o lugar para você colocar a sua chave

e dá um save beleza daí ele já vai entender qual ia que você quer usar aqui tá no seu workspace Beleza então assim é vai ficar muito simples e fácil de utilizar e aqui o chat History é a quantidade de chats que você pode ter aqui então no máximo de 20 é o que tá definid se você quiser aumentar o número de chats você aumenta tá e eu vou apagar esses que a gente acabou de criar você pode clicar aqui ó ou você renomeia se você quiser tipo eh sei lá meu chat sobre Crew ai

certo eu dou um enter aqui ele vai e seria o nome que você escreveu se você quiser deletar só deletar isso aqui acabou certo então pessoal basicamente isso tá Não tem segredo se quiser deletar ou criar um chat é bem fácil clica aqui para criar clica nos três pontinhos para deletar aqui em chat History vocês já sabem Para que serve chat mode não precisa mexer agora tá tem essa opção de de C aqui tá de consulta Se você quer usar no modelo chat ele vai usar o conhecimento do llm se você quiser usar no modelo

Cry ele vai só usar o llm com a sua base de dados que você carregou ali então ele só vai te fornecer resposta com base nos arquivos que você eh enviou aqui para dentro beleza do seu workspace então vamos deixar no modelo chat mesmo que é interessante que ele vai usar o llm e a sua base de conhecimento então isso aqui já tá padrão já beleza aqui você tem um prompt de sistema esse prompt vai definir contexto e instruções para o para ia que você você tiver usando sobre o que fazer e o que não

fazer então você manda uma pergunta para ele sei lá você manda quem foi Pelé se tiver ali nas suas regras nunca responda quem foi Pelé ele não vai te responder beleza então assim ó vamos lá vou colocar aqui nas configurações novamente vim aqui ó nunca responda quem foi Pelé certo então esse vai ser o meu a minha instrução aqui para ia certo daí eu vou colocar aqui ó 0.1 que é para I ser muito exata Vou atualizar aqui ó ele vai salvar certo eh e eu vou vir aqui no chat e vou digitar quem foi

Pelé ele vai de retornar Pelé mas ele não retorna a nenhum contexto certo então ele não não vai te responder beleza tudo bem que aqui a gente colocou em português e o melhor é você colocar instrução em inglês tá aquilo que você quer colocar para o llm porque o idioma brasileiro Ele tem muita conjugação de verbo tem diferenças do idioma americano e isso interfere diretamente na base de treinamento ali do modelo de a que você esteja utilizando certo então isso vai interferir na qualidade da resposta também certo então para isso que seria esse prompt tá

que fica aqui que é um prompt fixo certo eu vou atualizar aqui o workspace novamente vou deixar 0.3 tá 0,3 aqui ele diz que tem que ter uma um um não pode ficar vazio né então vou colocar eh responda sempre em português tá só pra gente ter uma regra Fixa aqui certo então vou atualizar pronto então já temos aqui pessoal configurada a nossa nossa configuração principal do chat do workspace beleza aqui se você quiser mudar em General sets o nome do seu workspace você pode alterar sei lá aula n trç l LM Ok então vou

atualizar aqui ó ele vai atualizar o nome do nosso workspace beleza só que ele não faz isso automático na interface então a gente dá um clique alguma coisa só para ele sair e aí quando eu voltei ele já tem aqui o nome que eu adicionei Beleza então basicamente isso tá para você inserir uma ia aqui dentro oficialmente você vai vir aqui na Chaves aqui em você vai ter toda as opções que o NT llm te oferece então tem as apis aqui do NT llm você pode criar uma chave tá essa chave que vocês estão vendo

eu vou deletar agora então ela vai ficar inutilizada tá eu vou criar uma outra posteriormente E aí você pode usar essa chave aqui e via api dentro do ntlm também Beleza então aqui ele cria os históricos de chat das perguntas que a gente fez certo a data e hora aqui a gente mexe Na aparência não não mexo nisso tá deixo como tá é mais a aparência de chat mesmo se você quiser mudar ali os balões a cor e tal você pode mexer nso aqui e aqui você vai escolher o modelo central de llm que você

quer usar tá é pr PR fazer as perguntas aqui na sua ia e eu coloquei o grock a minha chave api também que tá oculta aqui como vocês podem ver tá E aqui no transcript Model que é o modelo de transcrição que ele usa ali para transcrever os vídeos do YouTube por exemplo você deixa padrão tá tem o da Open ey aqui que é o Whisper Mas você pode deixar esse padrão que já é o Whisper que tá aqui também na na plataforma Tá então não tem muita diferença preferências de embed São conceitos mais técnicos

que a gente vai falando lá no circuito criativo Database vetorial também então não vou falar sobre isso nessa aula aqui Aqui tem os logs de tudo que tá sendo feito até o momento no seu app pode ver que a gente deletou ali a nossa chave api ele já apareceu aqui certo que a gente deletou e o horário e aqui os dados privados para você ter noção de como que tá sendo manuseado esses dados que você joga aqui dentro tá então ele te diz aqui ó o o llm que você tá usando é o grock e

a Database vetorial lance DB que é o padrão aqui mesmo do próprio ntlm é o embed é o próprio embedder do ntlm também tá que é com base ali no no pacote do L chain eu já pude perceber isso eh e aqui ele tá habilitado A telemetria tá a telemetria habilitada ela permite que você envie alguns dados não são Dados que você tá treinando tá eh algumas coisas aqui para o servidor lá do criador do NT llm para ele saber algumas coisas que os usuários estão fazendo ali na aqui dentro da plataforma mas não é

seus dados não é nada disso são métricas apenas tá para ele identificar alguns pontos que a pessoa tá mexendo ali na Interface para melhorar a usabilidade e outros fatores Beleza então aqui o que que a gente vai fazer vamos voltar Tá clicando naquela setinha e aí agora vocês já sabem usar o NT llm tá pessoal Parabéns aí para você que chegou até aqui agora é só você subir os arquivos do seu PC para cá e você pode utilizar da forma que bem entender então vou deletar um desses chats aqui que a gente não precisa de

dois que é o mesmo nome e para treinar o data é bem simples tá só clicar aqui ó Então pessoal vamos seguir aqui narrando por cima tá porque na hora da edição lá eu percebi que essa parte aí o áudio foi corrompido mas basicamente a gente arrastou um arquivo description pcsv para cá tá pra nossa base depois eu optei por deletar esse arquivo e resolve utilizar o arquivo que a gente usou na aula IOR que é o arquivo do da comparação com o Lhama versus o chat G pt4 Turbo inclusive se você ainda não viu

esse vídeo tá muito bom tá então assista certo e e daí a gente vai arrastar ele ali pra nossa área Beleza então eu pego ele ali vou copiar e arrastar para dentro da nossa base de dados ele vai atualizar o nosso arquivo no lugar daquele outro ali que a gente tinha colocado tá do description e eu posso mover para nosso workspace então cliquei ali certo vou dar um save e ele salvou ali essa base de dados com a tabela ali com os principais dados do Lhama e do chat pt4 Turbo Então nesse arquivo tinha métricas

tinha várias outras coisas ali que a gente utilizou para montar essa base na aula anterior se vocês quiserem dar uma olhada o Card vai est aparecendo aí beleza então basicamente o que é que eu vou fazer depois disso eu vou colar o link ali tá o link do vídeo Justamente que a gente gravou anterior a esse aqui e vou pegar a informação que a gente falou toda lá sobre o teste do Lhama versus o chat GPT e vou colar o link desse vídeo ali dentro e na nossa parte de transcrição aqui do NT llm Então

pegando o link desse vídeo igual vocês vão ver aí ó indo no YouTube e puxando ali o link do vídeo ele vai baixar Tudo que eu disse naquele vídeo certo e vai unir esse conhecimento com a base de dados que a gente já passou para ele ali no nosso arquivo csv e vai e nos retornar uma resposta que eu vou estar perguntando já já ali ó como vocês podem ver certo então ele já aparece o título do vídeo ali abaixo ó como vocês podem perceber ele puxou a transcrição e já jogou ali pra nossa base

de dados então voltamos pra base de dados ali na parte de documentos tá é só clicar novamente que ele vai abrir a aba vocês podem podem ver que o arquivo ali do vídeo de transcrição já tá presente basta clicarmos e jogarmos ali para nosso workspace E aí ele vai treinar a nossa base de dados com o texto do vídeo do YouTube que ele coletou beleza então ele treinou aí a nossa base de dados e agora tendo tudo pronto a gente vai voltar aqui para o nosso chat e fazer uma pergunta aí que eu nem lembro

mais qual foi a pergunta que eu fiz tá pr para o chat sobre eh o o Lhama versus o GPT 4 tá então eu vou perguntar ali ó Qual é a e a mais rápida atualmente acho que foi essa a pergunta né pelo que parece então a gente vai eh colocar essa pergunta ali e ele vai retornar os dados justamente usando tanto o que ele tem ali na base de dados do que a gente falou do YouTube quanto do arquivo csv também tá como vocês vão ver aí então ele enviou a pergunta ali Lembrando que

a gente tá usando modelo do lama 3 tá então ele trouxe ali a resposta ó termos de velocidade chat G pt4 é considerado dos modelos de linguagem mais rápidos eí ele traz e Podem perceber ali ó que ele traz dados relativos ao que eu falei no vídeo tá então ele pegou referência da transcrição eu vou clicar ali em show device tá Daqui algum algum tempinho ali no vídeo E aí vou vocês vão conseguir ver que ele pegou ali ó Show device ele pegou tanto a referência do nosso vídeo do YouTube para poder montar a resposta

quanto do nosso arquivo csv perceba que eles ele mostra os dados certinho ali ó que o GPT 4 turbo no vídeo apresentou a pontuação de 8.76 se vocês quiserem conferir isso pode ir lá no vídeo anterior tá a esse aqui e do Lhama 3 também que apresentou a pontuação de 8.4 certo então Ele trouxe aí o nosso resultado eh com base na nossa base de dados né no nossos arquivos que a gente passou para ele assim você também pode pegar conhecimento que outros YouTubers falam em vídeo e pegar esse conhecimento e agregar aí a sua

base de dados Então é isso tá Pessoal esse foi o tutorial de hoje Espero que tenham gostado não deixe de participar da nossa comunidade no WhatsApp e no telegram os links vão tá aí abaixo tá E tá aprendendo sobre tecnologia cada vez mais beleza então se você quer manter um contato com os membros aqui do canal discutir sobre tecnologia e ficar par dos principais assuntos é uma ótima oportunidade o link vai est aí na descrição e é isso valeu e até o próximo vídeo fui