Conheça o Anything LLM a ferramenta que te permite treinar sua IA em ambiente local

fala Turma nesse vídeo Vamos explorar a ferramenta N1 llm uma ferramenta capaz de treinar dados para um modelo open source de Inteligência Artificial quer saber mais sobre isso já deixa seu like e bora pro vídeo Então pessoal o primeiro passo que vocês devem fazer é ir ao site do N10 llm onde tem mais informações sobre a ferramenta que basicamente a funcionalidade dela é poder treinar dados que você queira aí que você coletou da internet para uma ia para um modelo de ia open source que você esteja usando no seu computador exatamente aqueles modelos que eu

mostrei para vocês na aula do LM Studio que inclusive o Card vai est aparecendo aqui acima então se você baixa um modelo de a que já foi treinado com várias informações e você quer adicionar informações extras atuais dentro do chat para que você possa est criando novas coisas ali a partir daqueles dados você pode est inserindo pdfs e TXT através do LM Studio além de áudios e outras coisas mais que eu vou estar mostrando para vocês nessa aula aqui então o primeiro passo para você que quer usar a ferramenta é ir até o site dele

e fazer o download da versão ou Windows ou Mac compatível aí com o seu computador com a sua máquina beleza e após baixar é só fazer aquela instalação de Next next next que você vai est conseguindo instalar tranquilamente a ferramenta não tem nenhuma configuração específica muito complexa que você tem que fazer apenas dando next você já vai conseguir instalar o NT llm no seu computador Beleza então como vocês podem ver clicamos em get started depois que instalarmos o programa aí clicamos em LM Studio ali a gente vai colocar nossa e a quantidade de tokens que

vão ser aceitas né nessa chamada api você vai configurar ali a URL do seu LM Studio que você vai pegar lá no LM Studio tá que já tá por padrão ali tá local host 1234 colocamos a quantidade de 4096 tokens que é a quantidade de tokens que o aa né do LM Studio ele vai aceitar Mas você pode colocar mais tokens tá caso o modelo que você tiver usando aceite mais quantidade de tokens e tá utilizando ali ele vai perguntar pra gente as opções de embedding né a gente pode deixar ali ó o NT embedder

que é a opção padrão tá então clicamos ali certo depois ele vai perguntar aqui qual o nosso e-mail pra gente tá fazendo um cadastro você pode inserir qualquer e-mail que você queira utilizar ali tá só para efetivar seu cadastro mesmo ele vai mandar algumas ofertas no seu e-mail e outras coisas mais Nós criamos o nome do nosso workspace que seria meio que a sua área de chat ali né o seu contexto assim como o GPT ele tem ali vários chats eh que a gente pode estar utilizando workspace seria uma área onde você pode ter várias

sub vários sub chats né para você poder tá usando ali certo pessoal Estamos aqui no N10 llm primeiro passo que você vai fazer aí é ter o seu LM Studio com ap ligada tá então você vai escolher o modelo eu tenho esses três modelos de a aqui tá que eu já instalei no LM Studio já fiz um vídeo sobre ele inclusive se você não viu vai tá aparecendo o Card aqui no canal tá vale a pena dar uma olhada e você vai ligar sua api clicar aqui em start server ele vai começar a escutar a

sua api Beleza então configuramos aí a instalação como vocês viram no início e o que o software pede inicialmente logo quando você acessa ele pela primeira vez criamos aqui um workspace que é o nome dado para essa área aqui ó que ele vai colocar as subcategorias de chat então clicando aqui a gente vai ter essa engrenagem de configurações vocês clicam acima dela E aí vai aparecer essa tela aqui nessa tela aqui você vai carregar os arquivos de treinamento de D dados que você quiser passar pra sua I dentro desse workspace certo então clicando aqui ó

você vai ter essa opção essas duas opções aqui que são bem importantes tá pessoal que é o arquivo que você pode arrastar e soltar aqui ou simplesmente clicar para que você selecione aí no seu computador o arquivo PDF TXT e carregue ele para cá até MP3 ou MP4 ele aceita Beleza então você vai carregar o seu arquivo para cá certo isso pessoal vai depender é claro das da api que você estiver usando tá então ele tem várias opções aqui de ap que a gente pode estar usando com essa ferramenta você pode usar o do próprio

chat ept pode usar o de outras APS que ele suporta ali também tá a do Bing da Microsoft eh e também usar a do LM Studio que é o que eu creio que muitos de vocês vão fazer aí então essa esse fator aqui de você carregar os determinados do tipos de arquivo como MP3 MP4 depende da i que você estiver usando tá do modelo que você estiver usando para ele conseguir processar essas informações corretamente então aqui você pode mandar o seu TXT o seu PDF certo selecionou aí com o arquivo no PC ele vai jogar

para cá e daqui você pode selecionar o arquivo vai aparecer o checkbox tá e mandar para cá pra área do seu do seu workspace beleza que a gente nomeou aqui o nosso como Decode Space tá então você vai conseguir fazer isso ou por exemplo pegar um link de um site que você quer pegar os dados e jogar para pedir alguma coisa a com base nesses dados da página do site certo então você pode colocar o link aqui que ele vai procurar esse site essa página vai baixar vai aparecer o HTML aqui você vai clicar com

o checkbox e ele vai mandar esse arquivo para cá Beleza então pessoal é bem prático tá não vou estar falando sobre isso agora Talvez no fim desse tutorial tenha uma demonstração sobre isso certo aqui a gente tem as configurações Você pode trocar o nome do seu workspace então vou colocar Decode aula certo aqui você vai trabalhar a temperatura que você vai usar com o modelo de A tá que você tiver sincronizado aqui no no LM Studio tá então vou botar 0.5 que ficou uma temperatura ali interessante certo aqui o chat History você deixa em 20

por padrão tá Inclusive a recomendação do próprio criador da ferramenta é deixar em 20 prompt eu gosto de deixar eu pessoalmente coloquei esse texto aqui tá e o show de ways answer me only portuguis PTBR que significa traduzindo aí você deve me responder apenas em português br tá para que a i ela como comunque sempre português com você aqui é o máximo de Contex snet não vou falar muito sobre isso aqui agora tá e a gente pode atualizar as configurações conforme a gente tiver mudado algum algum dado aqui alguma informação beleza como eu alterei o

nome vou clicar em upload workspace ele já apareceu aqui que a gente atualizou nosso workspace Então vou fechar isso aqui certo o nome não mudou aqui tá o nome ainda não não atualizou certo mas isso eu creio que na na hora que você reiniciar o software ele vai trocar aqui tá já foi alterado e então vamos lá daí agora a gente já pode vir aqui nas configurações do software que não é isso aqui tá é essa opção aqui e aí temos algumas coisas sobre o software a gente pode baixar os nossos workspace Então você tem

aqui ó Export chat to Jason Então você clica aqui ele vai baixar pro teu PC igual eu já fiz ali um teste todas as conversas que você teve dentro desse workspace aqui então clicando aqui você vai ter vários sub chats como a gente pode ver aqui ó chat de Python aquele que vocês estavam visualizando aqui anteriormente pode ver que o nome já atualizou tá demora alguns segundos mas ele atualiza rapidamente ali o nome certo então aqui a gente vai ter os nossos chats dentro do workspace então você pode exportar o seu workspace com essa opção

aqui em formato de arquivo Jason e aí ele vai ter ali tudo o que você conversou no arquivo json e para os seus workspace ou no arquivo csv certo aqui em appearance a gente vai mexer na aparência do software então você pode adicionar aqui que o software o sistema vai te responder com esse Card em Branco e a sua pergunta vai estar sempre em azul tá que é mais um fator personalização você pode deixar assim tá caso queira eh aqui você vai definir a sua preferência de llm tá então temos os modelos de a como

vocês podem ver aqui ó Open ai aer e antropic LM Studio que foi o que a gente tá utilizando aqui ó LM Studio base URL token context Window ou a janela de contexto né permitida pela ia que é o que aparece aqui ó tá a a o modelo que eu tô usando atualmente permite até 32.768 tokens mas eu gosto de deixar um volume baixo de tokens aqui para eu usar no chat tá mas se eu quisesse eu poderia aumentar aqui essa janela de Token para poder inserir mais textos ali dentro do meu chat tá mas

eu não gosto de utilizar muito para não alucinar ya Eu já Falei inclusive sobre isso no vídeo de temperatura que vai estar o Card aparecendo aqui também e você seleciona tá caso você ainda não tenha configurado não tenha seguido ali o passo que a gente fez no início do vídeo Basta vir aqui digitar LM Studio já vai aparecer a opção você clica ele vai te retornar isso aqui abaixo ó pedindo o link do seu endp aí da do modelo que você tá usando você vai colocar aqui temos também o olama tá que você pode estar

utilizando eu tenho inclusive aqui na minha máquina também mas eu preferi utilizar o LM Studio beleza aqui é para você configurar o seu sua I né seu llm que você vai estar utilizando aí no no PC aqui o eding tá como eu falei para vocês lá no início vocês vão deixar em N1 llm Eder tá deixa sempre nessa opção aqui tem essas outras que a gente pode est utilizando em outros vídeos sobre o N1 llm a gente vai falar sobre isso aqui no canal e sobre é esse assunto eu vou trazer lá no za também

e uma outra comunidade também que a gente vai ter Dea que eu vou divulgar em breve aqui para vocês um módulo completo sobre essa ferramenta para quem quiser se aprofundar mais ainda não só mexendo na ferramenta mas treinando dados ali que você pega de sites no seu dia a dia e outras coisas beleza então o embed in preference você vai deixar desse jeito aqui Aqui tem o vetor Database tá que é um banco de dados onde você vai est lançando informações que ele pode ser tanto na nuvem quanto local aqui a gente tá usando a

versão local que é o Lens DB que já vem por padrão no llm studio no N1 llm tá pessoal perdão que às vezes eu confundo o nome vem aqui no NN no L lmn 10 tá perdão aí pro pro confundir um pouco o nome aqui aqui é bem parecidos E você tem só opção de Lens DB tá que é um banco de dados local quando você instala o programa ele usa um banco de dados local para salvar a os chats que você tiver usando aqui as informações que você tiver alimentando aqui para aia Beleza então

esse vai ser o seu vetor mas caso você já tenha familiaridade com outros e sistema de banco de dados que servem como vetores para você tá armazenando as informações que você vai usar na sua ia como pinecone que é muito f tá o chroma também que bastante gente usa ou alguns desses modelos que ele tem aqui Fique à vontade para est utilizando aí beleza essa opção aqui de data connectors É bem interessante eu cheguei a testar mas parece que ela ainda tá instável tá que ela serve aqui para transcrever um vídeo do YouTube Então você

clicando aqui você consegue colocar o link ele transcreve aquele vídeo para você tá dependendo ali do vídeo e ele vai trazer a a transcrição é em formato de texto para você utilizar serve em muitos casos tá E eles ainda estão ajeitando essa função aqui que eu cheguei a testar ela não funcionou até o momento mas acredito que algum fator de configuração Eles estão melhorando E aí você vai colocar o link aqui vai poder treinar e conteúdos de vídeo aqui para as ias que você tiver usando localmente beleza Ou até mesmo conteúdos do próprio github de

repositórios que você insere aqui e ele vai est estudando Como utilizar aquilo para você entender melhor aquele projeto e conseguir ter melhores instruções aqui da ia sobre como manipular aquele projeto como usar aquilo para alguma coisa alguma plataforma que você esteja construindo tá com o o uso de a e muito mais fatores aí beleza aqui a gente tem os event logs que são retornos né logs Mesmo que a gente tem aí do que tá acontecendo aqui no chat então tudo que você você fizer vai ser armazenado aqui com data tá eh aqui no programa então

o user desconhecido eh utilizou eh a exportação de chat que foi o que a gente fez agora a pouco salvando aqui no PC a gente mexeu aqui no workspace eh fizemos alterações no software quando eu falei para vocês que eu tinha testado ali a exportação de chat anteriormente ele também salvou aqui e várias outras coisas por que pessoal porque essa ferramenta aqui ela permite que não só você use a ia treinando informações que você quer como você também compartilha os espaços de trabalho com outras pessoas e com equipes tá que você esteja trabalhando de desenvolvimento

para alguma coisa eh aqui no NT llm tá então você não vai trabalhar apenas sozinho dentro da plataforma Mas também você pode utilizar o fator equipe e tal utilizando aqui a ferramenta em conjunto com outras pessoas podendo ver ali os dados que você tá treinando alimentando também o mesmo projeto com informações e tá fazendo esse uso em conjunto beleza aqui Você limpa os logs tá parecendo ali a opção do automa que a gente consegue limpar os logs que a gente tinha utilizado né que a gente havia utilizado ali e aí ele vai limpar aquela montanha

de informações que ele tinha Salv ali do que você fez com os horários Beleza então temos aqui abaixo o discord que você vai entrar no canal de discord aqui da ferramenta a documentação que é esse Icone aqui clicando ele vai redirecionar a gente pra documentação e aqui o código fonte dessa ferramenta que é open source no Git Hub tá então você pode visualizar lá como é a ferramenta no github aqui se a gente quiser fechamos a opção ali tá ele vai voltar aqui para você visualizar os seus workspace tá você pode ter não só esse

Mas se a gente quiser criar aqui um novo teste 1 2 3 vamos ter aqui dois workspace e aí como eu disse para vocês cada workspace vai ter o seu sub chats dentro dele Beleza então é isso tá pessoal vamos fazer só um treinamento agora no final do vídeo de informações para vocês terem uma noção maior de como funciona aqui então vamos lá a gente tem aqui Um workspace ele tá por padrão no chat de tá que é o chat que ele tem como principal aqui do workspace como nós não criamos nenhum subchat ainda ele

vai ficar nesse principal então aqui ó Se quisermos Treinar esse workspace com informações a gente vem aqui clicamos aqui você vai selecionar um PDF aqui onde que você tem aí no seu seu computador tá então vou colocar aqui ó palavra data casa eu tenho TXT tá colocar aqui ó PDF tá pegar aqui o pdf vou jogar para cá um dos pdfs que eu tenho no meu computador ele vai carregar o arquivo aqui certo você vai pegar esse arquivo aqui ó move Fire to workspace certo vou salvar ele aqui ó embed tá cliquei na opção ele

vai começar a a estudar esse PDF que a gente incorporou aqui beleza então daí você pode fazer perguntas aqui no chat sobre o conteúdo que você já inseriu ali no seu workspace então se eu perguntar aqui para ele o que é o circuito criativo tá foi o pdf com alguns dados que eu inseri ali ele vai fazer a chamada aqui para o nosso LM Studio tá podemos clicar aqui e iniciar o LM Studio aqui ó podem ver que a chamada api foi feita e aí ele tá usando aqui por debaixo do span aia do LM

Studio que a gente tá usando que é o Mistral em conjunto com a estrutura do N1 llm e com alguns promp interna ali o modelo de estudo que ele usa tá para os arquivos que a gente passa aqui e aí ele vai retornar a resposta pra gente sobre o conteúdo daquele PDF que a gente inseriu ali ele vai criar a resposta e retornar aqui pra gente beleza então pessoal percebam aqui que ele já trouxe a resposta tá a gente perguntou o que é o circuito criativo que é o nome de uma comunidade Nova de a

que eu vou trazer aqui para vocês tá ele trouxe em inglês por que que ele trouxe em inglês eh nesse primeiro workspace que que eu havia criado eu tinha configurado aqui ó nos settings para ele responder sempre em português então a ia ela já fazia a conversão da resposta daquilo que Ela estudou ali no Doc que a gente passou para português tá eu tinha alterado para 0.5 também o a temperatura que por padrão ele coloca como 0.5 S como vocês podem ver isso aqui eu não mexo deixo em 20 o próprio criador dessa ferramenta recomenda

que a gente deixe isso aqui em 20 o Max content snippet eu vou estar explicando isso aqui para vocês posteriormente tá porque eu ainda pretendo trazer outro vídeo aqui no canal sobre a ferramenta e nesse primeiro eu já havia configurado como a gente criou um novo agora a pouco ele ficou com as configurações padrões aqui ó como vocês podem ver certo então por isso ele trouxe a resposta em inglês beleza mas perceba que ele trouxe tudo certinho aqui ele tá explicando na mesmo em inglês ele tá explicando sobre o arquivo que a gente passou aqui

o que é a comunidade circuito criativo a abreviação que eu coloquei lá no arquivo de Cc que é circuito criativo Ele usou aqui na resposta Tá mesmo em inglês eh falou um pouco sobre o conteúdo eh e ainda menciona aqui ao final quando ele acaba aqui de responder ele menciona eh o conteúdo do PDF que ele leu ali do PDF aqui pra gente de onde foi que ele tirou as informações para compor essa resposta então uma ferramenta realmente fantástica vale a pena você usar no seu dia a dia em conjunto com LM Studio você vai

poder utilizar muita coisa sem pagar nada sem ter que usar muito o chat GPT ali ou até Não mesmo usando né Eh a ferramenta do chat GPT apenas com modelos open source aí na sua máquina com LM Studio e o NT agora para treinar os dados que você quer alimentando a i com novas informações ali a respeito daquilo que você quer para desenvolver um produto para criar uma solução para algo enfim tá pessoal então ainda tem mais bastante coisa que a gente pode estar utilizando com essa ferramenta aqui existe a possibilidade da gente instalar ela

na nuvem com docker eh personalizar logo Como o próprio dono da ferramenta mostrou lá no vídeo de demonstração aqui no canal que dá para fazer isso dá para você personalizar a logo que você vai inserindo no servidor dessa ferramenta dá para compartilhar na versão selfie host com outras pessoas para que outras pessoas alimentem ali o modelo de a que vocês forem usar juntos com dados e tenha um uma área de trabalho mesmo para você e seus amigos treinar informações ali para um aa um modelo open source e desenvolver eh algum ia eh relacionada a um

setor específico que você queira assim como é um GPT né hoje em dia mas em ambiente privado um servidor do seu numa nuvem onde só você e seus amigos podem acessar ou na tua máquina mesmo Beleza então espero que tenham gostado do conteúdo de hoje deixe seu like que vai ser muito importante para eu trazer uma segunda aula sobre a ferramenta aqui ainda tem muito conteúdo que a gente pode fazer sobre isso aqui beleza então pessoal Muito obrigado pela sua atenção Se tiverem mais curiosidade deixem o like e perguntem aqui no vídeo seu comentário é

muito importante e até a próxima aula valeu e fui Fiquem com Deus e até o próximo vídeo se você deseja trabalhar na área de Tecnologia em 2024 eu tenho para vocês o zona automaker a nossa comunidade de automação e inteligência artificial onde temos várias aulas ali ensinando a prática cada aluno Como sair do zero e trabalhar construindo automações e ferramentas para empresas ali onde você pode estar fazendo disso sua renda extra ou principal Beleza então dá uma olhada no primeiro link da descrição Ah Mateus mas eu não sei programar eu não sei nada de código

no za a gente tem conteúdo Tanto para quem não quer mexer com nada de código ensinando ferramentas avançadíssima do mercado para você desenvolver automações aí para várias empresas como também para aqueles que já vem do código e querem se aperfeiçoar na área de tecnologia ainda mais beleza então recado dado pessoal Valeu pela sua atenção fui e até o próximo vídeo