[Música] Olá pessoal sejam bem-vindos e bem-vindas é um prazer estar aqui é um prazer ministrar essa aula para vocês tá então hoje a gente vai falar um pouquinho aí sobre o bad rock knowledge basis Bad rock knowledge Bases na tradução literal eh significa bases de conhecimento e a gente vai falar um pouquinho sobre o que é como que funciona a gente vai ter uma parte de prática aqui também onde eu demonstro um pouquinho da criação e uso de un naula de bases e vou mostrar para vocês como que a gente pode usar ele no nosso
dia a dia principalmente na área de negócios né Eh E como que o naog bases facilita a integração dos dados de uma empresa dos dados de uma companhia eh para que a gente use generative EA em cima desses dados tá então a gente vai ver um pouquinho aí das vantagens né que a gente possui quando a gente usa o knowledge bases Antes de tudo eu vou me apresentar rapidamente a ideia aqui que a gente fale sobre naa de bases mas só para vocês saberem né quem eu sou eh meu nome é thí Lino hoje eu
sou arquiteta de soluções eh e líder da área de dados machine learning e inteligência artificial da dataran nós somos uma consultoria parceira da aws né então eu trabalho ali com diversas empresas tanto do setor público como também do setor privado e hoje a gente atende aí o Brasil inteiro Além disso eu sou instrutor oficial da aws eh Ministro bastante aulas pela k Solution né e estou aí há quase 3 anos eh atuando como instrutora hoje eu tenho todas as certificações aws que vocês estão vendo aqui na sala eh e estou em busca das novas certificações
que foram lançadas recentemente né então a d datate engeneer a própria DJ ainda não fui atrás delas mas estou eh quase lá eh fiquei por um tempo ali como All 12 né todas as certificações hoje com mais certificações ali eu não tenho todas né mas já tive e é isso é um prazer conhecer vocês tá bom vamos lá pessoal Começando aqui então com base de conhecimento tá base do amazon badrock knowledge né então a gente vai falar um pouquinho sobre o Amazon badrock eh na aula de bases a gente vai ver o que é como
funciona e no final eu trago aqui uma demonstração prática para vocês ok bom então o que que é o Bedrock né o Bedrock e primeiro ele é um serviço da WS que traz eh diversas eh llms né então diversos modelos que usam eh generative ai para que a gente possa usar de forma mais simplificada e e ainda mais do que isso né o Amazon Bedrock traz ferramentas diversas é para que a gente possa utilizar Quando a gente fala de aws a gente tem serviços com diferentes camadas né ou então diferentes níveis de dificuldade tá eh
quando a gente fala ali de pessoas que nunca tiveram contato com a inteligência artificial algo muito legal de ser usado por exemplo é o par rock tá o par rock ele é um site disponível tá eh estou abrindo aqui para vocês verem par rock ele é um site que é possível que a gente gere algumas interações com jni eh que estão disponíveis aqui no site de forma gratuita eu posso me logar né com alguma conta e pedir informações para ele então por exemplo eh P Rock Me Me forneça um resumo desse documento tá então esse
é um pontapé inicial para quem nunca teve contato com ia né e quer quer testar algo útil o Part rock é muito legal porque ele vai permitir que a gente Entenda como que funciona eh uma ia generativa eh thí eu não tenho conhecimento nem equipe nem tempo mas eu quero usar a inteligência artificial bom para isso a aws também traz o k Business e o k developer são duas ferramentas dois serviços que permitem que a gente utilize jni dentro da a nossa conta WS para diversas tarefas desde responder informações sobre a nossa conta ou tirar
dúvidas Gerais puts Taís mas eu tenho uma equipe de desenvolvedores e desenvolvedoras e quero usar ia generativa legal então aqui entra o badrock tá o badrock Além de trazer facilidades ele também permite que desenvolvedores desenvolvedoras utilizem né suas apis seus recursos eh de desenvolvimento para criar as mais diversas aplicações Taí tem uma equipe totalmente dedicada quer aumentar a produtividade dessa equipe essa equipe é super especializada legal a gente tem o Cage Maker né e o Cage Maker e vai permitir ali a construção de diversos modelos Tá ok então a gente tá aqui então nessa fase
do Bad rock né e o Bedrock ele traz um uma ferramenta que seria as bases de conhecimento que que seriam essas bases as bases elas permitem que a gente construa aplicações que são enriquecidas por um contexto esse contexto são informações que são recuperadas durante as consultas tá essas informações podem ser as informações da nossa empresa da nossa companhia informações gerais né a gente consegue proporcionar ali com o knowledge base um tempo de lançamento mais rápido quando a gente exi toda a complexidade que é construir uma esteira completa e o bad rockology base consegue nos oferecer
uma solução reg pronta para uso taí o que que é reg né bom reg é uma tecnologia de geração aumentada ali e de recuperação então retrieval augmented Generation e que utiliza alguns métodos para conseguir recuperar esse contexto das informações que nós estamos Pass and ali para aquele na base tá eh com isso a gente consegue aumentar a eficiência de custos a gente elimina ali necessidade de treinar continuamente o modelo por exemplo para usar em cima de dados que são privados e simplifica bastante a configuração e implementação do reg né automatizando ali várias etapas do processo
eh legal e como que tudo isso funciona como que tudo isso se conecta tá primeiro o que que é reg E com isso vem uma outra pergunta que é o que que é eding né então vamos lá pessoal que que são edgings tá eh embeds São representações numéricas que vão converter informações como textos palavras ou documentos completos em vetores de números de Alta Dimensão Ok Isso significa que o seguinte a gente tem um documento eu pego esse documento quebro ele em vários pedacinhos né Eh passo por um modelo de embed esse modelo vai pegar esses
pequenos pedacinhos de textos e vai gerar um vetor para cada informação desse meu texto que que é um vetor um vetor e a gente aprendeu ali né Eh no ensino fundamental pro médio é um vetor com números né então a gente vai ter ali por exemplo um vetor 1.3 tá E esse vetor 1.3 ele pode ser um vetor que está diretamente relacionada à palavra por exemplo casa certo e o que que esse modelo de eding vai fazer ele vai pegar essa palavra casa vai transformar ali em um vetor por exemplo 1.3 e ele vai fazer
isso para todas as palavras que ele encontrar dentro desse documento então eu tenho um cas e eu tenho também por exemplo porta tá a representação numérica de porta ela através desse modelo de embedding vai ser uma representação muito próxima da representação 1.3 que representa a palavra casa com isso o que que a gente consegue a gente consegue vetores que são construídos de forma eh semanticamente para estarem mais próximos um dos outros nesse espaço vetorial E aí isso permite que os sistemas de Inteligência Artificial como esses modelos de linguagem ou llms né que são Grand grandes
modelos de linguagem compreendam comparem e relacionem esses contextos de maneira mais eficiente Então se porta representado V de forma vetorial está próximo de casa se o o o nosso modelo está gerando um texto por exemplo de como construir uma casa ele vai entender que porta talvez faça parte ali daquela geração de texto Então qual que é a palavra mais próxima né Eh enquanto o nosso o modelo está escrevendo algum texto usando jni é é desta forma que que funciona tá então os embeddings eles capturam o significado dessas palavras ou frases e permite que os sistemas
façam essas associações mais precisas Entre esses conceitos tá eh é algo muito útil principalmente paraa busca semântica onde a gente usa palavras né linguagem natural Então gostaria de recuperar informações sobre x coisa tá é muito bom também para fazer recomendação de conteúdo realizar traduções automáticas entre diversos outros casos de uso a grande vantagem a gente consegue reduzir a complexidade desse processamento textual e a gente consegue né transformar os dados textuais em formas numéricas tratáveis por máquinas tá então aqui a gente tem essa arquitetura a gente tem o nosso documento é passado por um modelo de
imbed esse modelo os nossos vetores e isto é salvo dentro de um banco de dados vetorial então todos esses números serão salvos em um banco de dados próprio né para esse tipo de informação então quando a gente fala do knowledge base nós vamos ter no final uma arquitetura que é flexível E que nos ajuda principalmente a realizar todo esse processo de embed né então agora eu consigo com uma consulta do nosso usuário gerar embeds desta consulta Ou seja a consulta que está entrando também passa por esse procedimento então o usuário pediu eh tudo que está
relacionado a casa por exemplo né Eh esse é o nosso input tá aqui é o nosso user query né ou então consulta do usuário quando o usuário faz ali a a o input dessa informação isso passa por um modelo de eding que vai transformar aquele texto né aquela solicitação em número vetorial isso é recuperar para um banco vetorial onde será recuperado documentos similares ali a aquela solicitação a gente passa por um modelo de texto usando modelos llms da Amazon Bad ro e a gente Retorna ali pro usuário com uma resposta legal Ok thí como que
o base do badrock vai me ajudar com tudo isso tá hoje o base do badrock ele permite que a gente se conecte a diversos tipos de dados quais são algumas Fontes disponíveis já tá a gente tem ali eh fontes como por exemplo web crawler Onde eu consigo ir em sites e extrair informações desses sites eu posso recuperar essas informações diretamente do amazon S3 do sharepoint né então o sharepoint ali é uma base também né de documentos eh da própria Microsoft e o confluence também né onde a gente pode subir ali os dados do confluence para
serem recuperados via o knowledge base tá como que eu uso então o no de base aqui a gente tem um exemplo bem prático Onde eu consigo selecionar um modelo gerar um prompt para esse modelo Ou seja eu passo informações de como que o modelo deve lidar com o prompt do nosso usuário ou ou seja com a entrada ali do que o nosso usuário pede tá e eu indico Onde estão os dados né nesse caso a gente está vendo um um uma demonstração do próprio noled base Onde eu consigo usar dados tanto do meu computador como
também do S3 tá legal a gente já falou bastante aqui sobre o que que é vou mostrar um pouquinho para vocês como que funciona na prática tá então eu vou mostrar para vocês a criação né de uma base de conhecimento a gente vai visualizar ali algumas informações importante sobre essa base como que a gente sincroniza com uma fonte de dados e a gente vai testar ali algumas consultas e respostas Ok então vamos lá pessoal para quem nunca entrou aqui na na na console né da WS Essa é a carinha tá aqui a gente consegue enxergar
aí todos os serviços que a gente tem acesso inclusive aqueles que a gente não tem acesso também né então esse meu usuário por exemplo não tem acesso ali aos custos né dessa conta da WS Tá eu vou pesquisar aqui ó por badrock legal então aqui eu tenho um um overview sobre o que que é o Bedrock e aqui eu vou procurar o nosso knowledge bases tá que é o que nós vamos utilizar pessoal eu tenho uma uma uma demo desse knowledge base pronta tá a gente vai usar ele para testar mas eu vou mostrar para
vocês qual que seria o passo a passo se vocês fossem criar na conta de vocês tá como demora alguns minutinhos eu já deixei esse pronto para que a gente consiga ir direto ao ponto legal mas ó criar uma analy base é super simples primeiro eu tenho aqui alguns dados que eu coletei em sites públicos da própria sebrai onde são alguns pdfs Gerais tá por exemplo sobre liderança como contratar funcionários Como elaborar aqui ó controles financeiros e diversos outros documentos aqui então imagina que a sua empresa né durante vários anos ali coletou diversos materiais diversos documentos
e agora gostaria de fazer perguntas em cima desses documentos aqui o que nós estamos vendo é um local onde eu estou armazenando toda essa documentação e são esses documentos que eu vou usar como contexto pro meu knowledge base tá então eu vou dar um nome aqui posso escolher um nome aqui pro meu meu knowledge base eu Gero permissões ele facilita isso para mim criando ali um novo Eh uma nova permissão para que eu possa usar o serviço e aqui eu posso escolher qual a fonte de dado que eu quero utilizar então como eu falei tem
até aqui o se Force também eh eu posso utilizar qualquer uma dessas três dessas fontes de dados tá então se fosse o caso do confluence né Eu poderia usar ali toda a documentação que está no confluence nesse caso a gente vai usar os dados do S3 tá que são esses pdfs aqui que vocês estão vendo é bem tranquilo dou um next dou um nome aqui para essa base de conhecimento então eu posso dizer que esse é o S3 datasource eu venho aqui busco direto lá no meu S3 qual que é o Bucket né Qual que
é o balde ali eh que a gente vai usar que estão as nossas informações tá legal em seguida como a gente viu a gente precisa de um modelo de embed né esse modelo ele vai converter os nossos dados em um ebed que a gente viu que são representações numéricas desses textos tá eu eu posso escolher alguns modelos eu tenho o Titan que é um modelo de eding da própria Amazon Eu tenho um corar também tá e quando eu uso eh o knowledge base a gente tem uma facilidade muito grande em fazer a geração desses eds
porque o na base vai cuidar disso pra gente tá e como a gente viu na arquitetura também a gente precisa escolher um banco de dados para eu poder salvar essas representações numéricas ele me dá duas opções uma opção mais recomendada que é criar um vetor né um armazenamento de Vetor rápido e por baixo ele utiliza o openarch service que é um serviço de armazenamento e busca que também consegue armazenar vetores caso a gente queira ter um controle maior sobre eu posso escolher um vetor um Vector Store né um armazenamento de vetores que a gente já
tenha criado anteriormente Esse é o mais recomendado já que a ideia do serviço é justamente facilitar next e aqui a gente confere algumas informações tá e posso clicar aqui para criar o knowledge base ele demora alguns minutos né como eu comentei então aqui ele tá me falando que vai demorar alguns minutos tá mas eu já tenho um pronto legal E aí eu vou mostrar agora para vocês duas coisas primeiro eu posso entrar num a de base e conversar com o documento e entender como como que funcionaria tá então aqui eu escolho um modelo Digamos que
eu queira o cloud da antropic e eu escolho um documento aqui do meu computador Vou colocar aqui como contratar funcionários e eu consigo fazer perguntas em cima dessa documentação então eu vou colocar aqui quais as principais dicas tá dessa forma eu consigo conversar diretamente com um documento nesse caso um documento bem específico é realmente mais para demonstrar como que funcionaria ali o knowledge base tá enquanto ele carrega a gente vai dar uma olhada aqui no knowledge base que já existe tá então eu criei o knowledge base aqui a gente tem um knowledge base que está
criado eu consigo ver a quantidade de arquivos que esse nled base possui são nove arquivos data de criação e qual foi a Tima sincronização então Digamos que novos dados estão chegando ali no nosso S3 eu consigo fazer novas sincronizações para ele eh fazer ali o eding desses novos dados que estão chegando tá eh aqui ó só retornando ali na nossa chat with your document né converse com o seu documento tá aqui eu fiz a pergunta ele me trouxe uma resposta né e ele mostra que dentro do documento onde que ele encontrou essa resposta tá então
eh a gente tem ali um documento PDF eu fiz a pergunta e ele me retorna onde é que ele encontrou cada uma dessas respostas de forma muito mais resumida né de forma ali muito mais prática tá então esse seria uma primeira demonstração ali do knowledge base Mas vamos trabalhar aqui com um outro nosso que nós já criamos tá eh bom então eu tenho aqui o knowledge base criado e eu posso selecionar um modelo também aqui eu tenho mais opções de selecionar é outros modelos então a gente vai usar esse da Titan tá eu posso fazer
algumas configurações em cima desse meu modelo como por exemplo eu posso pedir para que a resposta do meu modelo seja em português então vou colocar aqui The Return must be in portugues e isso eu falo pro meu modelo né assim como a gente fala com ele o que a gente quer a gente fala para ele o que que ele deve fazer como que ele deve agir tá então legal eu configurei aqui para ele responder em português eu vou abrir um desses documentos que a gente tem aqui eh bom por exemplo a gente tem aqui melhores
investimentos Como elaborar controles financeiros eu vou pegar aqui fazer uma pergunta mais geral tá eu vou fazer a seguinte pergunta quais são Opa Quais são as principais dicas de negócios apert Run e agora ele tá dizendo o seguinte recuperando e gerando uma resposta se a gente pensar na nossa arquitetura anterior Esse retrieving é justamente aquele processo de rag né de recuperar uma resposta com base em um contexto e o gerando é justamente usando o jni para fazer a escrita desse texto tá Então olha que legal eu perguntei quais são aí as principais dicas de negócios
tá eh e ele me trouxe algumas dicas então conhecer Quais são os custos fixos descobrir margem ter certeza se a empresa está operando com lucro entre outros tá cada um desses números ele me fala onde que ele encontrou essa informação Então esse primeiro esse essa primeira dica né que é precisa vender para não operar com prejuízo ele encontrou nesse documento quando eu clico nele ele me leva aqui pro documento tudo para você praticar gestão financeira em seu negócio e eu posso baixar esse documento por exemplo baixei e eu vou abrir ele né e vou ver
ali sobre o que que é esse documento tá então é um documento né sobre várias informações aí dicas de negócio e assim por diante então aqui a gente tem uma um um uma outra informação tá eh e ele vai trazendo aqui pra gente eh Quais são as fontes né que ele utilizou para gerar essa resposta legal Pessoal esse então é o de base do badrock ele facilita bastante né Eh a criação de recursos para que a gente possa implantar na nossa empresa tá E ele permite que a gente integre né Eh esses recursos a aplicações
já existentes ali da nossa empresa tá bom pessoal eh queria agradecer muito obrigado a todos e a todas tá pela pela presença e é isso Y
