Ferramental da AWS

Oi pessoal tudo bem Hoje a gente vai falar sobre o ferramental do amazon Bedrock é o conjunto de recursos disponível no Amazon Bedrock pra gente trabalhar com os modelos de base pessoal me apresentando rapidamente meu nome é Leandro Vieira trabalho h mais de 18 anos na área de tecnologia comecei lá atrás na parte de inf servidores e rede Trabalho há um pouco mais de 10 anos com a WS sou estrut WS autorizado na k Solution e atualmente trabalho como DPO e especialista em tecnologia no grupo Globo sejam todos bem-vindos e bem-vindas antes de falar sobre

o ferramental do amazon Bedrock vamos falar sobre o próprio Amazon Bedrock lembrar o que é e como a gente pode utilizá-lo o Amazon Bedrock ele é um serviço totalmente gerenciado que oferece acesso a vários modelos de base de alta performance dos principais provedores você pode começar a usar o Amazon Bedrock através da console de gerenciamento da WS para experimentar os modelos disponíveis através do playground depois de validar seu caso de uso você pode integrar facilmente os modelos com as suas aplicações usando ferramentas e api do amazon Bedrock tudo isso sem se preocupar com infraestrutura mas

é necessário escolher o melhor modelo de Base pro seu caso de uso para isso o Amazon Bedrock oferece a avaliação dos modelos a avaliação do modelo no abaso Bedrock permite comparar e selecionar qual vai ser o melhor modelo para você utilizar o Amazon badrock Ele oferece duas opções de avaliação de modelo avaliação automática e avaliação humana você pode usar avaliação automática com métricas pré-definidas como precisão do modelo sua robustez e até a sua toxicidade para avaliação humana é possível utilizar outro conjunto de métricas métricas mais subjetivas como simpatia estilo e alinhamento do tom de voz

da sua marca feito isso você já vai ter um direcionamento sobre qual conjunto de modelos vai funcionar melhor ali pro seu produto ou serviço também é possível utilizar os parâmetros de inferência você pode ajustar os parâmetros de inferência de um modelo para influenciar a resposta que esse modelo vai gerar por exemplo a gente tem o parâmetro de temperatura esse parâmetro ele representa a criatividade do texto escolha um valor mais baixo para você ter um texto mais objetivo outro parâmetro que existe é o top k esse parâmetro ele representa o número de palavras mais provável que

o modelo vai utilizar como seu próximo token de saída escolhendo um valor mais baixo ele vai diminuir o grupo o tamanho das probabilidades ali de palavras utilizadas na de texto o parâmetro top P vai trabalhar com a porcentagem dessas palavras mais prováveis e de novo diminuindo esse parâmetro a gente vai ter também um grupo mais reduzido como prováveis tokens de saída então com essas configurações mais baixa eu vou ter ali a produção de texto mais objetiva a medida que a gente vai entando essas configurações a gente vai também produzir um texto mais descontraído mais criativo

um outro parâmetro importante é o parâmetro de comprimento da resposta esse parâmetro vai dizer para o modelo quantos tokens ele deve utilizar na geração de texto na saída na sua resposta e a quantidade de tokens é importante porque é através dos tokens que o Amazon badw se baseia para fazer a cobrança pelo uso dos seus serviços Nesse contexto de modelos de base ou llms large lenguage models um token ele é ou pode ser uma sequência de caracteres que vai representar uma unidade significativa de texto ele não necessariamente é uma palavra ele pode ser parte de

uma palavra ele pode ser uma palavra mais um caracter ele pode ser até um ponto os tokens eles são usados para poder precificar a utilização dos modelos então pros modelos de geração de texto você vai ser cobrado por cada tokem de entrada processado ou seja o seu prompt E você também vai ser cobrado por cada token de saída gerada Pelo modelo pros modelos de geração de imagem você vai cobrar vai ser cobrado por cada imagem gerada vamos dar uma olhada como a gente pode utilizar essas ferramentas do amazon Bedrock na console da WS Essa é

a console da WS onde a gente tem acesso a vários serviços na nuvem inclusive o próprio Amazon Bedrock clicando nele a gente vai abrir a página desse serviço e chegando na página a gente tem aqui os provedores os provedores e com os seus modelos de base então é possível solicitar para WS o acesso a esses modelos de base para que a gente possa começar os nossos testes ou a nossa implementação eu posso escolher um dos provedores por exemplo antropic e fazer a solicitação de acesso aos seus modelos uma vez feita essa solicitação o modelo vai

estar disponível para eu utilizar aqui na console do amazon Bedrock com os modelos disponíveis a gente pode criar uma avaliação de modelo e como a gente viu é possível criar uma avaliação automática usando métricas pré-configuradas ou uma avaliação humana usando aquelas métricas mais subjetivas ou até mesmo métricas personalizadas vamos criar uma avaliação automática iniciando aqui o processo de criação de uma avaliação automática eu preciso dar um nome para essa avaliação vamos chamar de demo aval em seguida eu preciso selecionar um modelo o modelo que eu vou fazer aqui a avaliação vamos selecionar aqui o modelo

da antropic por exemplo Cloud 3 sonet selecionado o modelo eu preciso avaliar ele sobre uma perspectiva sobre uma habilidade que esse modelo tem Eu Posso avaliar ele na condição de geração de texto na condição de resumo de texto perguntas e respostas e por aí vai eu vou avaliar ele na geração de texto selecionando o tipo da tarefa que ele vai ser avaliado ele me traz aqui as métricas na qual ele vai se basear para gerar o resultado dessa avaliação toxicidade precisão robustez posso adicionar ou remover métricas aqui paraa minha avaliação vamos deixar as métricas sugeridas

e agora eu preciso definir um local onde o Amazon Bedrock vai guardar o resultado dessa avaliação esse local vai ser um Bucket do amazon S3 Então vamos navegar pelo Amazon S3 vamos escolher um Bucket aqui e uma pasta para ele guardar esses resultados em seguida eu preciso criar ou utilizar um perfil do Iam o perfil do Iam é nada mais nada menos que um conjunto de permissões que o Amazon Bedrock precisa para que ele possa fazer avaliação do modelo e guardar essa avaliação no Amazon S3 Vamos criar não vamos utilizar uma um conjunto de permissões

que eu já tenho aqui aqui criado vamos usar esse aqui e vamos mandar criar esse fluxo de avaliação legal a avaliação tá em andamento ele começa a fazer a avaliação do modelo e aqui ele mostra a tarefa que a gente acabou de criar essa tarefa ela tá em andamento Vai demorar um pouquinho para ser concluída um outro recurso que a gente pode testar são os parâmetros de inferência E para isso vamos utilizar aqui o Playground do amazon Bedrock vamos selecionar aqui a parte de texto vamos escolher um modelo pra gente fazer esses testes por exemplo

vamos manter aqui no modelo da antropic percebam que aqui na parte da direita eu tenho aqueles parâmetros que a gente viu temperatura top p top k o comprimento máximo ou seja a quantidade de tokens que o modelo vai utilizar ali nas suas respostas Vamos fazer uma configuração ah com valores mais baixo Legal vamos botar aqui um comprimento menor e vamos pegar aqui um prompt de exemplo eu já tenho um prompt aqui pronto e vamos ver o que que esse prompt vai fazer aqui no nosso modelo sua tarefa é criar um briefing de design abrangente para

uma identidade com base nas especificações fornecidas a identidade da marca deve abranger vários elementos como sugestão para o nome da marca logotipo paleta de cores tipografia E por aí vai aqui eu quero construir uma marca eu vou pedir ajuda pro clud de TR sonet com essa construção ou com essa listagem de itens que eu vou usar na minha construção vou mandar ele executar e ele vai começar a Gerar esses itens para mim legal ele começa a estruturar visão geral da marca qual setor público alvo valores principais missão nome da marca logotipo paleta de cores então

ele começa a Gerar para mim ali várias informações para que eu possa seguir com o processo de desenvolvimento dessa marca toda essa parte de geração de texto ela tá se baseando nos parâmetros de inferência que eu acabei de configurar eu poderia alterar esse modelo escolher um outro modelo por exemplo o Titan Express da Amazon vamos limpar esse prompt aqui e a gente pode trabalhar com uma temperatura maior uma quantidade de token vamos botar aqui uma quantidade de token igual e dar o mesmo prompt para ele mandar ele executar E aí pessoal o playground vai ajudar

a gente com essa calibragem Qual é a melhor configuração que eu devo fazer qual é a temperatura ideal Quais são as configurações de Top p top k Qual é o tamanho da resposta a quantidade de tokens ideal para que o modelo interaja ali com o meu cliente por exemplo ou para que o modelo Gere ali um texto que vai fazer sentido na comunicação com o meu cliente Então pessoal existe um conjunto de ferramentas muito bacana que o Amazon Bedrock disponibiliza na qual a gente pode utilizar para tornar I generativa mais próxima do nosso negócio fazer

com que o modelo trabalhe mais ajustado com o nosso objetivo com o nosso caso de uso Por isso é importante conhecer essas ferramentas que o Amazon Bedrock disponibiliza pra gente o que que a gente viu Nessa demo pessoal a gente viu como solicitar acesso aos modelos a gente falou de avaliação dos modelos usando métricas avaliação humana avaliação automática a gente também viu como configurar os parâmetros de inferência para ajustar as respostas ou os textos que os modelos podem gerar legal pessoal obrigado pela atenção eu fico por aqui até mais n [Música]