fala pessoal hoje nós vamos entender como é que faz para ligar o Lhama 3. 1 Sim esse novo modelo da Meta que o Mark Zuckerberg recentemente lançou como que a gente conecta esse lama 3. 1 de graça rodando na própria máquina no modelinho 8b para conseguir tanto fazer um chat para conseguir fazer um acesso local de api e também rodar na crei para fazer um sistema de Agentes que realiza tarefas É isso mesmo tudo de graça não vai ter que pagar um centavo É isso aí vamos lá como vocês já estão sabendo a meta lançou o lama 3.
1 no formato 405b 70b e 8b o que que significa isso é o tamanho do modelo basicamente a qualidade né o 405 tem uma qualidade muito alta o 70b tem uma qualidade média e o 8b é a qualidade Zinha mais de boa só que a diferença é a seguinte o 8b roda no nosso PC roda no nosso pcz local O que que você vai precisar para rodar esse modelinho local tem uma boa placa de vídeo quanto maior quanto mais memória melhor a minha placa de vídeo é uma 1060 é uma placa de vídeo bem antiga ela nem é rtx essa versão mais nova mas já é o suficiente PR gente gente dar uma brincadinha Então vamos lá para rodar Nossa versãozinha aqui ó o olama vai ser o programinha que roda o Lhama dentro do nosso computador eu fiz um vídeo já explicando com mais detalhes com muito mais detalhes do que eu vou falar agora Como que faz para rodar como que faz essa instalação aqui eu tô usando Windows mas como no Windows aqui a versão é preview eu prefiro rodar numa versão de Linux dentro do Windows se você quiser rodar usando o próprio Windows não tem problema vai dar tudo certo Por que que eu prefiro também usar o Linux nesse caso se eu rodar no Linux aqui vai funcionar como se eu tivesse uma instalação específica de olama e que se eu quiser apagar depois se eu quiser sumir com ela fica bem mais simples do que se eu fizer a instalação no Windows então aqui vai dependendo de como você fizer você escolhe aqui e d tudo certo se você for fazer como eu fiz você vai precisar instalar pelo menos o Ubunto que é uma distribuição de Linux dentro do teu Windows que tem na Microsoft Store é tudo legalizado tudo bem certinho uma vez instalado uma vez tudo rodando tudo certinho Você pode digitar Esse comando aqui ó System CTL status service que ele vai me dizer assim ó está ativo e tá rodando verificar se ele tá rodando é importante porque às vezes você pode tanto esquecer ele rodando ou você pode tentar usar ele ainda não está funcionando você dá esse status se você quiser fazer ele funcionar você dá um start tá vendo aqui ó start e se você quiser parar você dá um Stop Esses comandinho são comandinho básicos outro comando importante é olama list que vai listar os modelos que você tem eu aqui por exemplo tenho rodando o f 3 e tenho o olama 3. 1 já instalados se você ainda não tem instalado lado você vai dar um olama p lama 3. 1 e ele vai baixar a última versão atualizada do modelo 8b para você ter certeza que o modelo é 8b você vai ver esse tamanho aqui ó size 4.
7 é o tamanho pequeno se for o 70b ou 405b esse tamanho vai tá bem exagerado se você ficou com dúvidas vem no site do liama vem nos modelos liama 3. 1 e ele vai te dar todas as instruções do modelo 8b 70b E 405 você consegue escolher aqui ó se você coloca o 8b ele já diz que é 3. 1 tá vendo que ele tá dando Run aqui não precisa dar Run pode dar pull mesmo Run é quando você vai rodar ele localmente se eu colocar o 70b ó tá vendo que ele coloca aqui ó 2.
70b se eu colocar o 405b olha aqui ó 2. 405b se eu colocar o lat aqui ele já vai colocar no 3. 1 então fica atento se você colocar o dois pontos aqui na frente vai ser o modelo 8b se não tiver nada vai ser o 8b também ó vou digitar aqui ele vai tentar baixar ele já tá baixado então basicamente a única coisa que ele vai fazer aqui é uma verificação só para conferir se tá tudo certinho deu tudo certo agora que eu posso fazer é um olama Run lama 3.
1 Se eu fizer isso eu vou rodar aqui localmente uma um testezinho só para saber se o modelo tá funcionando se eu consigo fazer um chat com ele e aqui eu posso falar oi tudo bem tudo bem estou aqui para ajudar Qual modelo você é ele falou que é da Open é nada você tem certeza o que que vocês acham disso ele tá com uma Gris de identidade mas assim pode ter certeza que é o liama 3. 1 é meio esquisito Hein gente vai saber da onde que vem informação aqui ele falou na cara de pau que é open ai se eu der barra interrogação ele vai me dar as opções que ele tem eu quero simplesmente sair então ele tá falando assim para sair é barra buy e eu vou sair daqui Lembrando que se eu der um status aqui ó ele continua ativo continua rodando aperta q para sair se não tiver saído tá entendido se ele tiver rodando significa que tem um servidor local que vai estar funcionando agora a gente vai pro nosso vs code no vs code eu já tenho instalado a biblioteca da Open ai em Python PIP install Open ai no próprio próprio site da olama eles dizem que eles têm compatibilidade com a Open ai e eles explicam como é que você faz para usar tem duas formas ou você passa esse endereço aqui dessa desse formato aqui se você tiver usando se RL ou você pode usar na biblioteca do Python que vai ter que colocar esse v1 aqui no finalzinho eu tô fazendo aqui nessa versãozinha usando a biblioteca da Open A então eu tenho que colocar esse endereço aqui e não esquece desse v1 aqui Gente esse v1 aqui é importante o que esse programa faz é ele importa a biblioteca da Open ai cria um cliente que tá configurado a chave da api eu coloco um texto qualquer não precisa acessar palavra nada pode ser um texto qualquer eu coloco a página gera um cliente fala que o modelo é otila 3. 1 e manda uma mensagem Qual a capital do Brasil e eu falo que a stream é falsa para mandar a resposta de uma vez só e eu vou imprimir a resposta Tá certo vou rodar esse código aqui vamos ver e aqui ele respondeu a capital do Brasil é Brasília é como se ao invés de eu mandar uma pergunta lá para upni lá pro servidor da upni eu mandei pro meu servidor local e ele já sabe a resposta combinado se você entendeu até aqui vamos pro Crew ai o que que é cre ai a CRE ai é quando a gente cria um agente que vai conseguir usar ferramentas que vai conseguir usar um modelo de linguagem para executar tarefas Eu tenho um vídeo específico falando sobre cre Ai aqui como que trabalha com mais detalhes nesse vídeo aqui especificamente eu só vou falar como que faz para carregar o modelo do olama e para usar Crew ai de graça gente de graça o Crew ai tem duas formas de você fazer um é instalando essa biblioteca da olama eu juro para vocês gente eu tentei eu instalei fiz tudo certinho segui os tutoriais para mim não funcionou Diz para mim se funcionou para vocês aí mas o que funcionou para mim foi isso aqui ó usar a própria biblioteca da openi do mesmo jeitinho que a gente fez basicamente eu tenho um agente que ele gera texto para mim que eu utilizei no meu vídeo para fazer ajuste fino para fazer treinamento de modelo de linguagem e no exemplo que eu fiz aqui ó o seu papel é criar diálogos esse meu agente João ele cria diálogos ele é um bom fazedor de perguntas e respostas e ele é um entrevistador profissional esses detalhes aqui eu explico melhor no vídeo sobre Crew ai a única coisa que realmente muda é essa linha 20 aqui da outra vez eu tinha usado a linha 19 e dessa vez eu usei a linha 20 que aqui eu passo o nome do meu modelo que é o lema 3.
1 eu falo que ele tá naquele endereço lá no endereço v1 passo a chave aqui que dizendo que é nada e a temperatura quão criativo ele é 0.
