hoje é dia de fazer uma llm rodar 100% local no seu computador bacana Aí você vai reduzir os seus custos com seus agentes dentro da configuração da sua Crew usando o Crew ai com a LM no seu computador é agora aqui no canal sandeco vamos nessa Olá tudo bem Eu sou Professor sandeco Macedo Eu sou professor e pesquisador pelo Instituto e Universidade Federal de Goiás Além disso eu sou embaixador da Campus para o Brasil e meu objetivo é fazer você usar agentes inteligentes no seu dia a dia bom Isso é uma pergunta que o pessoal sempre me faz sandeco como é que faz para rodar uma llm no meu próprio computador sem usar o chat APT para integrar com o meu Crew eii como é que eu faço isso bom eu vou mostrar Neste vídeo que é a mentoria gratuita sobre o livro de Crew Ai que eu lancei esses dias atrás Volume 1 Crew ai para iniciantes e a gente tem um grupo de mentoria lá que o pessoal que tá acompanhando né Você pode saber mais no link da descrição aqui embaixo beleza muito bem a primeira coisa que você vai fazer é acessar esse site aqui ó hama. com Tá certo e é aqui que a gente vai baixar o olama ó aqui ó eu vou diminuir aqui o zoom e a gente vai baixar aqui ó você vem aqui em downloads tá download clicou aqui em download faz o download para Windows se você tá faz o download para para Windows se você tiver no Windows né ou pra Linux ou pra Mac tem para todos os sistemas operacionais eu tô usando Windows aqui por causa do meu estúdio né Ele é todo de Windows tá bom é estúdio Professor gente estúdio professor é isso mesmo é na pobreza Tá bom depois que você fizer o download aqui ó você vai vir aqui nos seus downloads né vou mostrar aqui meus downloads aqui e aí depois que você faz o download Ó você vai ter esse arquivo aqui basta clicar duas vezes e aí é aquela instalação padrão mesmo do Windows né você vem dá next né install next next next Ok vai tudo ficar maravilhoso ó agora o próximo passo eu vou fazer o seguinte vamos então vir aqui ó nos models tá então aqui nos modelos eu vou baixar o seguinte eu vou olhar aqui ó o o Lhama 3. 1 você pode usar outros também ó que legal eu tenho o Lhama 3.
1 tá a gente vai usar esse esse 8b aqui mas só para mostrar para vocês que existem outros outros outros modelos tá aqui você pode usar aqui por exemplo o o o o gema né o Mistral eh tem aqui o kwin 2 né o kwin tu aqui ó esse esse modelo desse é 0. 5b bem pequenininho tá então faz seus testes aí para todos o padrão para você baixar vai ser a mesma coisa como é que eu vou fazer eu vou voltar aqui em cima no Lhama vou clicar aqui no Lhama pra gente poder baixar né então ele vai abrir aqui ó a biblioteca de modelos tá e eu vou escolher né A biblioteca pra gente vai tá o Lhama 3. 1 aqui tá ao invz de você já copiar e colar aqui executa esse mais uma vez clica aqui ó abre aqui e clica mais uma vez tá que ele vai fazer o seguinte ele vai te dar essa opção aqui ó Lhama 3.
1 2. 8b é esse Lhama que eu vou baixar aqui no computador e olha como é simples Eu vou copiar aqui vou copiar e vou abrir uma janela aqui eh de comod do Windows né uma janela de comando tá bem simples todo mundo conhece tá então o seguinte ó para requisitar o nosso aqui o o Lhama no nosso computador eu vou usar o olama então olama olama né olama menos menos version você vê se está instalado direitinho então quando eu rodo aqui ó você vai ver que tem o a versão 036 Ok para pegar o Lhama 3. 1 como é que eu vou fazer vou abrir aqui o lama é pull tá escreve esse comando aqui pull E aí você cola agora exatamente o mesmo nome igualzinho tá que você pegou aqui ó tá você pegou aqui vou aumentar um pouquinho tamanho da tela aqui para vocês verem melhor né aqui ó tá vendo o nome igualzinho copiou e colou lá ó você abre novamente aqui o seu o seu prompt de comando tá E só executa aqui eu já baixei e vai aparecer tudo assim meio que já feito o download né então você faz o seguinte você aguarda esse download acontecer Ele demora um pouquinho porque são 4.
7 GB se eu não me engano é um pouquinho grande aí você vai baixar ele inteiro no seu computador e aí você consegue colocar para rodar tá bom muito bem você vê nesse caso aí que eu já baixei né o o Lhama 3. 1 aqui no meu computador tá bonitinho aqui como é que eu faço para rodar para brincar com ele aqui na próprio Prom de comando Olha só vou fazer o seguinte vou vir aqui ó vou copiar esse comando aqui para poder executar né o lama Run o nome da da da do nosso modelo então vou executar aqui ó aqui dou enter e você vai ver que ele tá procurando executar aqui eu vou bater um papo com ele já já aqui você vai ver eu vou conversando com essa llm belezinha muito bem agora ele carregou bonitão aqui vamos conversar com ele vou dar um Olá aqui Olá como vai como vai aí ele vai Olá vou bem obrigado e você como está seu dia hoje eu estou ótimo eu estou [Música] maravilhoso não é que Ótimo vou perguntar uma questão técnica para ele aqui vamos ver se ele vai me responder legal né vou perguntar se ele sabe se ele entende sobre rede Transformers né Me fale sobre rede Transformers tá bom fale sobre R Transformers eu vou esperar que ele me explique né ah é o [Risadas] miser veja bem eu não expliquei Ei Professor você não fez uma pergunta muito bem feita aqui né eu falei Me fale sobre rede Transformers ele entendeu que era Transformer dos desenhos animado Transformer do Optimus Prime bab e tudo mais né olha só ela se confundiu ela achou que o Transformers aqui nesse caso é o Transformers desenho animado né Eu quero que você eu quero que ele fale para mim sobre assim ó fale sobre fale sobre as redes neurais Transformers Agora sim as redes neurais Transformers são uma arquitetura de rede neural que Visa melhorar a capacidade de aprender sequênci de dados como texto voz e imagem a rede neural de transforme foi apresentada em 2017 no artigo aten xol Unidos Exatamente isso tudo aí que a gente sabe que aconteceu com as rede transforma Então tá funcionando que é uma beleza aqui o lama 3. 1 no meu computador beleza para conectar o lama com o Crew ai eu vou precisar instalar o leng chain olama é simples de fazer tranquilo demais olha só como é que é para instalar você vai fazer o seguinte simplesmente assim ó para instalar o l chain olhamos aqui ó você vai fazer assim ó instalando né se você vai usar o Pipe Basta dar o comando Pipe install certo leng chain olama agora se você quiser instalar o usando o po usando poet você vai usar o comando poet ads L chain olama beleza muito simples primeira coisa que eu vou fazer aqui fazer uma importação ó vou fazer uma importação no meu código aqui vou importar o a biblioteca os e depois eu vou importar a biblioteca do leng chain olama pra gente poder usar o olama aqui beleza lindo demais lindo demais da conta olha só E agora o que que eu vou fazer eu vou adicionar né as bibliotecas do Crew Ai aqui embaixo ó pra gente criar o agente o tesque vai ser um agente simples eu vou pedir simplesmente para para ele construir para mim uma carta de amor muito simples beleza próximo passo aqui é o seguinte ó tem uma treta tem uma treta certo quando você vai vai conectar o o Crew ai com olama você tem que fazer de conta que você tá conectando com o GPT tá fazer de conta então ele precisa que você ative uma chave da openni aqui mais estranha colocando esse na aqui esse na aqui né e ele é tipo mock né uma coisa escondida uma coisa é de mentira para enganar né o própria a própria ferramenta para poder isso funcionar beleza aí o próximo passo o que que é eu vou criar então a conexão com o olama aqui ó e aí eu faço o seguinte vou chamar quem vou chamar a biblioteca né chat olama beleza muito bem abriu e fechou parâmetros aqui ó próximo passo é chamar o modelo então quem é o meu Model aqui o Model tem que ser exatamente o modelo que eu instalei que é o modelo aqui ó Lhama 3.
1 2. 8b certo então esse é o modelo que a gente vai usar porque foi o modelo que eu busquei né que eu busquei para instalar aqui agora uma coisa muito importante quando a gente usa o Lhama ele vai ser e instalado em uma um servidor local na nossa máquina certo então o Creu aí vai enxergar ol Lhama por meio desse servidor Então a gente vai colocar aqui ó http 2 bar barra é como se fosse conectar um site né conectar um um endereço IP então eu vou colocar aqui ó local host tá local host que significa uma conexão com a própria máquina né E e aí depois eu vou conectar com a porta 11 434 Beleza então essa aqui é o endereço e a porta de conexão com o Lhama feito isso tudo está pronto agora basta a gente colocar os agentes ó Então vou colocar os agentes aqui vou criar os agentes né Vou colocar aqui agora importantíssimo é o meu agente escritor é um escritor de cartas de amor né então eu vou colocar a llm dele aqui ó sendo exatamente a llm aqui do olama Beleza não esquece fazer isso tá isso aqui é muito importante próximo passo é definir a tarefa do agente Isso você já sabe fazer baseado nas nossas aulas coloquei aqui a tarefa né que é escrever uma carta de amor passando quem o agente escritor mas veja o detalhe aqui né eu vou pedir para que ele escreva essa carta de amor em um arquivo chamado amor pmd esse amor. MD é a carta de amor que eu quero escrever para determinada pessoa né que o agente vai escrever próximo passo o que que é vamos criar a nossa Crew aqui ó criar Crew basicamente aqui onde eu vou colocar aqui o meu Agente né O Agente escritor o a tarefa do Agente né que é escrita da cartas eh de amor e o processo é um processo sequencial básico Beleza o próximo passo vai ser o seguinte ó eu vou executar colocando o destinatário né e as pessoas que vão receber essa carta de amor então vamos lá aqui vou expressar os sentimentos dos destinatários né quem vai receber quem é a pessoa que vai receber eh essa carta de amor Então veja bem que a pessoa que vai receber vai ser o nome destinatário vai ser Maria C e os sentimentos que eu quero que contenha na carta de amor vai ser exatamente isso aqui ó a amor eterno carinho profundo de admiração né essa vírgula não tem não tá galera muito bem corrigir no português o próximo passo o que que é é exatamente ativar o kick off né ativar executando o Nossa Crew então ó eu vou colocar aqui eh o nosso destinatário né destinatário recebe o destinatário e os sentimentos recebe os sentimentos aqui então tá tudo muito lindo tudoo Pronto né e o próximo passo que eu vou fazer eu vou fazer uma impressão né dos os resultados aqui embaixo Então vai sair a impressão dos resultados vamos rodar essa coisa toda aqui para funcionar vai ficar lindo demais o o Lhama 3.
