Aplicando GenAI: Uma Jornada de Inovação com a Databricks

aqui tá bom vamos lá começando o nosso querido webinar de ia generativa minha apresentando eu sou Alberto Cardoso sou arquiteto de soluções aqui na dat Bricks e trabalho aqui há um tempinho já uns do anos quase 3 anos né você v eu gosto gosto de música sou Baiano e vai ser um um prazer aqui est com vocês nessa horinha e aqui apresento para ela está eu tô na zona Norte ela tá na zona sul Então tá para baixo Lívia Moraes Nossa arquiteta de solução Fala aí Livinha Bom dia pessoal bom eu sou a Olívia Moraes

faço parte do time de arquitetos e soluções aqui da dat Bricks eh vou completar aí mais ou menos 2 anos de né que eu tô aqui como como arquiteta na databricks Ah bom para quem me conhece né Já eu eu eu gosto muito de de esporte né de corrida de bike né dança clássica também enfim só um contexto aqui um pouquinho fora desse âmbito de trabalho e é um prazer estar aqui com vocês hoje contar uma história da Livinha rapidamente a gente tava numa lanchonete a gente viajou na empresa aí Tipo pô todo mundo comendo

hambúrguer e batata frita ela pediu uma saladinha então assim mostrou aquele compromisso com o esporte de um jeito que que eu não consigo ter eu acho que não teri Mas vamos lá vamos começar aqui alguns Pontos importantes estamos gravando e vamos enviar depois para vocês e a o vídeo disso tá bom outro ponto se vocês eh tiver achar interessante eu tô vendo aqui basicamente só uma a minha tela de projeção então peço a gentileza que vou ter um botãozinho reação se puderem dar um um like aí só para eu ver como é que se se

tá reagindo aqui as coisas e eu não sei se o botão de reação tá tá funcionando se não tiver a gente e depois V direitinho tá que eu vejo o pessoal levantando a mão pessoal a vocês me escutam sim tá ah deu uma travada acho que aqui é tá tá funcionando tá a reação tá alto tô vendo aqui tá É tô vendo a mão do pessoal levantando mas geralmente levanta um legalzinho subindo Então eu acho que e eu acho que não tá os botões de reação não estão funcionando tá tá tá tá aparecendo aqui tá

na minha tela tá aparecendo os legalzinho subindo aí Ah tá os legalzinho tudo legalzinho um monte de de de m é então talvez seja na minha que não esteja mas tudo bem então Eh e aqui ó pessoal Outro ponto importante é o o q& tá então vou pedir a enorme gentileza temos aqui o o tacis da dat Bricks temos a a Aninha e o Caio eles são meus queridos colegas aqui e eles vão me ajudar e e Air a responder eh perguntas então eu vou pedir que vocês marquem somente as perguntas do q& tá deixa

o chat pra gente interagir e e e e falar essas coisas todas mas aqui eu vou pedir a gentileza da gente eh marcar só no q& tudo bem vamos lá então vamos começar a brincadeira então ok que que a gente começa Deixa eu só ver o horário aqui para eu não me perder Beleza então vamos lá ler aqui no meu Ok vamos lá então começamos aqui né você já conhece a datrix desse aspecto a gente criou esse conceito chamado Lake house né que é essa Fundação unificada pros dados que os lakes e todos os dados

que a sua empresa de diversos tipos pode gerar agora V seriam guardados dentro do Lake House mas o que que acontece o mundo não é só você jogar dados de um Lake e ter a sua estrutura descritiva em cima dele criou-se então né Eh o mundinho do ai né já tem um tempinho E aí Mais especificamente a parte de ag generativa certo que é uma que é uma estrutura que a gente vai explicar em detalhes em pouco mas o ponto que eu queria colocar aqui é que a gente começou a trabalhar com a mosaica m

a mosaic veio para a databricks a gente adquiriu e agora a gente terminou todo esse arcabouo de soluções de data and criando uma nova plataforma um novo conceito chamado the data intelligence platform onde um lado a gente tem esse objetivo de continuar democratizando os dados certo mas por outro também em difundir a por toda a organização então da mesma forma que a gente criou esse conceito de Lake House Um dia a gente tentar vai tentar criar esse conceito de data intelligence plataforma nas empresas então a gente continua com a mesma missão tá dentro do mundo

de data ni democratizar os dados para todos e na par de dados e na parte de ai democratizar ai para cada produto porque é assim que as empresas vão começar a desenvolver tá ela vai pegar um produto em específico vai evoluir ele talvez em um uma numa visão mais eh exploratória no começo mas a ideia é que esse produto seja interno seja externo ou o que for elas ele seja embebido na parte de Inteligência Artificial tá então aqui voltando a parte do data intelligence platform esse daqui é o nosso desenhozinho básico que a gente tem

e eu queria explicar aqui para vocês temos aqui a parte do Open dat Lake não como vocês sabem a databricks é uma plataforma de data ni funciona nas três clouds n nas três grandes clouds e o dado ele sempre reside no local do cliente então a gente o seu data Lake o seu Object Storage da sua nuvem seja um Google GCS um adls da Microsoft um S3 da WS o seu o dado é seu o dado está lá e ele é aberto e acessível e o dado ele é versátil dentro daqueles grandes vz a variabilidade

é qualquer dado logs textos áudios vídeos imagens tá diante disso só que o que acontecia Quando você joga tudo dentro de um mesmo local Você precisa de alguma forma de Eh unificar esses eh padronizar esse esse consumo desses dados e ainda da performas então criou-se o delta Lake que é uma forma de É como se você tivesse tabelinhas de banco de dados em cima do seu dos seus dos seus dados em Storage tá E aí você consegue fazer select fazer delites facilita muito muito a vida dos dos Engenheiros de dados do que ficar gerenciando o

arquivo na mão só que isso não é não é suficiente somente você precisa ter a governança Por Quê Como é que um cientista de dados vai buscar uma tabela como é que um um um engenheiro de dados vai bus vai fazer um etl como é que outra pessoa vai trazer algum eh encontrar um dado em k assim então aqui temos o unit catalog o que que é unit catalog a nossa ferramenta de governança ela é pervasiva e não é somente de dados ela é e de arquivos de modelos tem um monte de de coisas que

você governa e dar acesso através do unit catalog E aí a gente trabalha em algumas dimensões aqui né Essas duas dimensões do Meio são mais relacionados à engenharia temos a a dimensão aqui de que a gente chama de SQL de date Ware housing que é para um consumo É é comp como se fosse um data warehousing mesmo e esse é o foco que a gente vai trabalhar hoje tá E por que o data intelligence platform porque pouco a pouco da mesma forma que o software começou a a a dominar o mundo em termos de aplicar

software nos lugares por exemplo antig sei lá uns 50 anos atrás Ninguém imaginava um sistema para gerir RH com software né era tudo meio que na mão e aí começou-se então a ter software em tudo que eu lugar da mesma forma que teve energia elétrica disseminou barateou e disseminou pelo mundo softw é a mesma coisa e a gente acredita que diante desse Marco do genar isso também vai vai acontecer Tá bom então avançando aqui antes da gente começar eu queria colocar como eu vi gente também de vários lugares aí de eh de até de papéis

diferentes eu acho que é legal a gente dar uns conceitos bases aqui sobre inteligência artificial especificamente sobre llm então começamos por aqui ó a parte de artifício intelligence gente aí é um campo mais multidisciplinar né da da Ciência da Computação que é mais um Arc bolso né Desse conhecimento e aí você a gente começa a descer o nível machine learning então É de fato Machine lean é a técnica de você prever um dado então Imagine que você tem uma planilha de excel E aí Faltou um dado ali como é que você fala assim poxa baseado

nesses outros dados como é que Eu preencho essa célula isso não deixa uma inferência em um processo de machine learning sem a necessidade de você ser de você programar isso então Eh esse é o mundinho que trazia do código que onde tinha um fluxo de execução para agora para mundo de inferência baseado em um em um campo de dados específicos como será um dado futuro ou um dado faltante e aí existem técnicas de como fazer isso e uma delas uma técnica de regressão né tradicional você cria ali um uma função Zinha e diz assim olha

se hoje custam tanto daqui baseado no no passado amanhã vai custar Y só que existe outra arquitetura outra técnica de como fazer isso que é o de redes neurais né que é aquelas de como você criar camadinhas de redes neurais e elas viu que não parou de evoluir né você entregava mais dados novas arquiteturas chegavam e ela não não ela satura e crescia e satura e crescia então o diplom se tomou uma uma uma ciência da comput uma ciência em si muito forte no mundo de machine learning e as redes neurais Profundas que é essa

questão do Deep learning começaram a ser cada vez mais famosas no mercado e aí entrando nisso criamos o sub o generative eii ele ele na verdade ele é um sub que assim a gente colocou embaixo do Deep le mas ele é um subcampo da Inteligência Artificial certo que ele é focado nas partes de novas de novos conteúdos existem modelos próprios paraa geração de cada conteúdo desse mas e temos o llm que é essa parte da linguagem Lar models que é um subgrupo que a forma que a gente na verdade veio depois daquela arquitetura do Transformers

né que é acho que não sei do 3 anos que a go lançou e E aí poxa isso disseminou pelo mercado e o llm ficou super super conhecido e a e finalmente a parte dos foundations models então eu vou explicar mais em detalhes mas assim são llms treinados codificados para ser mais específico para na parte de de geração de linguagem como o o GPT 4 o Bart O mpt que é o nosso quer dizer que é da mosaic que é o nosso também e aí todos esses pontos se acabam aqui em termos de conhecimento tá

então o que a gente entende que agora é o momento para eh trabalhar com e a generativa primeiro que assim existe aqueles grandes vezos de dados né volume velocidade velocidade variedade velocidade e de fato imagine os últimos 20 anos 30 anos com muita criação de dados digitais que alimentam esses modelos e que exercem uma evolução no mundo de de Inteligência Artificial o outro ponto é o poder computacional né antigamente fazer o modelo era muito caro você precisava comprar um grande parque de máquina Agora você pode alugar isso na nas nuvens e tudo mais e isso

empurrou a ciência né pressionou a ciência do de machine learning de de ia para criar novos modelos e Esses paradigmas foram quebrados e criando né Cada Vez melhorando os modelos em si certo vamos lá então assim o estado da arte da E generativa como eu te falei tá avançando muito rapidamente e não existe uma forma única para tudo né sempre são necessários compensações tradeoffs era palavra aí mas compensações para encontrar um modelo para cada caso de uso por vou eu Primeiro vou explicar as caixinhas de baixo aqui e depois vou explicar como a gente trabalha

um pouco sobre isso a gente tem os lnms proprietários então por exemplo o chat GPT da Open a você não tem acesso ao modelo ass o arquivo de modelos dele você tem que chamar eles viam um Api para poder trazer essa essa resposta que você eh precisa você o modelo ele é opaco você não tem acesso a ele tá em contra Então os lms proprietários são assim certo vocês têm vocês não têm acesso ao modelo vocês têm acesso à chamadas ou seja cada empresa define como é que isso é feito e temos aqui a contraparte

esse é um caminho que eu particularmente acredito mais eu acho mais democrático e que a dat brix também acredito que são os modelos open source Tá o que que são os modelos open source nesse aspecto são modelos que você que estão disponível por exemplo dentro do huging Face para você baixar esses modelos e testar na sua casa na sua empresa Então você vai lá constrói o modelo eh perdão você baixa esse foundation Model e começa a trabalhar diante das técnicas que eu vou explicar um pouquinho mais paraa frente qual é a diferença disso né tem

algumas como é que a gente pensa na dimensão da privacidade você vai pegar um dado se de novo pode ser que você queira um negócio rápido que não tenha um caso de uso rápido que não tenha uma uma necessidade tão imediata né E aí nesse caso você tranquilo você pode trabalhar é mais rápido com opinar nesse aspecto Mas se tiver uma informação privada como é que você vai tratar isso então os modelos open source trabalham mais a parte de qualidade né eh como é que você vai medir a qualidade tem todo uma uma ciência de

monitoramento de modelos e tal no caso ela se aplica aos dois mas custo né poxa como cara como é que cada chamada que você vai fazer dentro de um chat GPT vai custar quando se tornar milhões de chamadas tá E aí todas essas essas dimensões você tem que refletir na hora de criar o seu caso de uso e por último a latência agora vocês vão ver que os modelos aqui o pessoal chama de muito de Ed computing ou Ed ai né que os modelos vão ser embarcados nos dispositivos para poder exatamente ter uma rápida latência

para responder aquele aquela chamada e diferente de um modelo que talvez Precisava chamar por api ou coisa do tipo Então esse aqui é o caminho que a gente tá norteando na dat Bricks e Esperamos que de fato isso seja mais acessível para para todas as pessoas certo então eu queria colocar aqui as abordagens Tá então vamos lá como é que a gente [Música] custumizaçao primeira você vai lá fala com o chat GPT Eh articula toda uma pergunta bem feita para poder que o chat GPT Responda para você né beleza essa daqui mas quando você ten

quer trabalhar com seus dados a primeira e a mais fácil é a de rag tá que é a forma de você pegar os dados que você tem juntar com o modelo e trazer um resposta então eu vou explicar um pouquinho mais em detalhe como é que é isso mas o modelo que você tem em mãos nesse momento ele não foi alterado você pega um foundation Model qualquer sem sem e treiná-lo mais ou customiz mais e aí você tem um resultado pronto então esse é o reg o segundo você pode pegar um modelo e estender e

treinar mais que a gente chama de fine tuning e agora ess esses dados e os consequentemente as respostas seriam seriam melhores também que a gente chama de F tuning que é você pegar esse modelo e agora estender o treinamento dele com seus dados para que para que você o caso de uso seja mais priso e por último né que é a parte de treinamento completo você vai treinar o llm do zero com os dados e aí você pode imaginar aqui né o o custo que isso vai ter entendeu quem acha que quem acha que vai

qual o mais Custoso qual o mais caro dessa brincadeira você pegar um modelo que você praticamente não treina só ajusta arquitetura ou que você treine aqui a diferença são de dezenas de milhares de horas em termos de custo de treinamento e aqui vocês podem ver que aqui são para bases pequenas de dados Então rag você pega por exemplo um corpo de de informação junta com o modelo mas isso também às vezes é rápido porque você precisa dar eh conhecimento pra sua empresa que existe essa tecnologia Então essa é uma forma rápida de começar e aqui

a parte na fine tuning da parte que você vai u usar médias grandes de base até para poder porque você tá estendendo essa esse treinamento e por último a parte do do do Pr você precisa de uma boa quantidade de dados com qualidade e de um dinheirinho para treinar e aí aqui a diferença fica assim aqui fica no modo eis você pode gente se vocês olharem aqui o a demo da Livinha e você pega o modelo puxa do Face Coloca sua estrutura dentro de um Vector search E já começa a ter respostas em relação a

isso aqui não aqui você vai precisar de Model Training o que isso quer dizer o quê esse Model Training precisa de especialistas precisa de pessoas e assim por diante tá e alguns casos de aplicação tá Observe essa aqui a gente isso a gente chama de verticais aqui chama de e indústrias também e eu vou falar alguns casos de uso por indústria aqui depois com mais detalhes por exemplo a caso de uso da financeira a de saúde eh comunicação é telecomunicação aqui na verdade varejo e manufatura PR por exemplo a financeira né Eh eu quero encontrar

uma documentação de gerenciamento de risco Ok como como é que eu encontro isso lembre-se eu acho que é um dos pontos mais importantes do llm é você tratar com dados não estruturados Relembrando né dados não estruturados vídeo foto texto livre semiestruturados como blogs XML estruturados que geral csv tabel pesquisar nesse mundinho de dados não estr não estruturados não é fácil e o LM ajuda muito nisso e você eu vou dar um exemplo aqui depois de como é que isso pode ser feito então colocar essas documentações financeiras para rápido acesso Imagine que você tem lá uma

um um 1000 Consultores na rua encontrando coisas mais rápidas ela tende ser cliente mais rápido e e avança com seu negócio mais rápido tá saúde né análise de ensaios clínicos mesma coisa você tem um monte de dados não estruturados poxa como é que eu refaça um resumo disso daqui para mim busque essas informações onde é que tá para você ter uma ideia aqui na antigamente tinha aquela busca para você encontrar os seus interna da empresa e e aqui a gente tem um llm que faz isso eu fales falam em inglês o que que ele precisa

em texto ele vai lá e responde em todo todo o conteúdo e são vários conteúdos aqui a gente tem Slack a gente tem páginas wik intern né vamos dizer assim tem um monte de informação que ele vai lá e busca tudo de forma não estruturada telco né telecomunicação suporte ao cliente Você vai ligar para Vivo e tudo mais você pode ter uma boa camada Inicial aqui de informação para para atender o cliente tá varejo essa do varejo vai ser legal você pode ter geração de imagem Você pode buscar falar assim porque mais chato do que

às vezes receber uma propaganda rece uma propaganda que você nem gosta então quando você começa a personalizar essas informações e com lnm a gente vai mostrar um pouco como é que isso funciona fica pelo menos mais interessante interagir com a marca e a última manufatura né análise preditiva gerência de mudanças eh e a e a conversacional com cockpit que é aquelas aquelas áreas de operação e assim por diante Então vamos lá aqui é um primeiro caso de uso deixa eu ver como é que tá meu tempo aqui eu tenho mais TRS minutinhos né Livinha se

você quiser aí já passei não não tem mais TRS minutinhos pode pode concluir muito bem então vamos lá casos de uso de de negócio com llm primeiro engajamento do usuário certo então a gente vai entrar aqui no que a gente chama de personalização e segmentação do cliente Primeiro vamos lá você tem uma grandee de informação como é que eu separo como é que eu divido esses clientes né não é fácil você definir definir ess essas personas que cham né análise de feedback então Poxa você tem lá um monte de Twitter Como é que eu analiso

análise sentimento sobre a visão média do que os os clientes pensam de mim e os famosos assistentes virtuais que vocês que vocês já conhecem mas eu dar um exemplo interessante aqui você tem ess da área de marketing eu quero saber assim quais são Eh vamos lá você é da área de marketing não de call center e aí tem os logs tem todos os áudios de de todas suas conversas suas não né da da marca né não converso tanto assim apesar de parecer E aí você pega esse áudio e transforma para inglês para português e aí

você vai ter um corpo de dado não estruturado você trabalha isso com llm E aí você pode fazer umas perguntas assim Quais são as cinco principais reclamações com os dados fornecidos que a gente deu aqui e ele começa a entregar isso de uma forma muito organizada por exemplo 25% estão falando na na parte de entrega outros eh qualidade do produto capacidade de resposta e assim por diante Então isso é um negócio super factível né de ser feito E caso de uso geração de conteúdo tá e aqui você pode alguém né vai vir aqui e pedir

para criar um conteúdo específico para você que seja mais próximo de você e aqui eu vou apresentar para vocês a ML né que é essa Moa dá para ver claramente aqui é criada por um um gni E aí o que que a gente vai fazer a gente vai criar uma Persona e vamos dizer que essa Persona é você Por enquanto então uma mulher com seus 30 anos cabelo castanho morando em Londres e tal eu vou mandar uma Que tipo de marketing eu vou enviar para ela eu vou enviar um marketing personalizado né E aí você

já pode você sabe que as áreas que a inl explora né ela gosta de estar no parque ela gosta de eh pela pela região que ela mora que tipo de de clima tem lá e aí você pode gerar imagens específicas Claro com as partes e que tocam a necessidade da ml para poder entregar uma personalização qual você vocês acham que vai ser a taxa de conversão dela para esse para esse tipo de de compra de produto você recebe um casaco que você não gosta ou você recebe um casaco que é uma cor que você gosta

no parque que você anda geralmente para ir pro trabalho na sua cidade então esse tipo de informação pode ser criada Para poder melhorar o que a gente chama de personalização de Marketing e assim por diante e PR finalizar depois se vocês quiserem vocês podem entrar aqui nesse QR Code é só um um um videozinho depois eu passo o link também que é o caso da chevron o que que eles fizeram eles fizeram um assistente virtual eles pegaram chevron é uma empresa de engenharia química ou de química que pegou todos o muitos relatórios técnicos dos produtos

técnicos difíceis dele e colocaram isso dentro de uma rag para poder os seus Engenheiros que muitos Engenheiros buscar isso rapidamente né ou seja era um chat para encontrar manuais isso foi muito importante dentro da da velocidade de avanço dos projetos pros seus Engenheiros e esse é só um exemplo que a gente tem aqui tá então passei um minuto somente E aí agora a gente vai entrar no caso de uso específico na demonstração que vai ser a queridíssima Lívia que vai colocar aqui fala aí Livinha boa obrigado Alberto eu tava ansiosa aqui para para começar bom

pessoal eh antes da gente ir paraa parte prática só para trazer um contexto do que vai ser o nosso caso de uso tá Então imagina que eh vocês usuários databrick né vocês quando vão querer saber um pouco mais de alguma feature eh algo específico da nossa plataforma Vocês precisam buscar a documentação né e dentro da documentação procurar exatamente aquilo que vocês estão buscando aquela informação né então Eh isso é algo que ok né desde que tem a documentação vocês encontram e tudo mais a resposta mas seria muito interessante se a gente tivesse por exemplo um

chatbot que pudesse eh interagir com vocês através de uma linguagem natural né e trazer a resposta muito mais ágil né então vocês ali entrarem com a pergunta específico né Qual que é a dúvida de vocês de uma feature por exemplo E aí esse chatbot ele poder te responder trazendo Muito mais agilidade eh respostas vamos dizer assim personalizadas né pensando exatamente na sua pergunta então para isso né dentro desse contexto de construir um chatbot eh humanizado vamos chamar assim né Eh então a gente pode eh usar a técnica que o Alberto comentou aqui eh de reg

né então a gente vai combinar um modelo de llm mais o reg aqui para para trazer esse esse contexto adicional e responder perguntas ali de uma forma muito mais interativa muito mais personalizada e rápida Tá bom eu vou compartilhar minha tela pra gente ir direto pra nossa demo vou dar um share aqui acho que vocês estão vendo minha minha tela certo Se alguém puder me confirmar Alberto os meninos por favor Beleza então sim show Então pessoal eh dentro desse contexto que eu acabei de dar do nosso caso de uso eh Seria algo muito similar a

isso aqui que a gente tá vendo na tela tá então vocês poderem eh fazer perguntas né interagir aqui de de algo específico da nossa plataforma né É lógico que nesse aqui no nosso exemplo a gente tá falando de de databricks né de um assistente aqui dentro do contexto de documentação datab a ideia a gente eh ampliar né Depois isso isso pode ser replicado dentro de outros contextos eu vi que teve alguém alguém no chat que comentou alguma coisa de um assistente Interno também acho que é algo muito muito similar tá Então imagina que você faça

perguntas por exemplo eh O que que é uma pólice ali do cluster e esse chatbot poder te responder né como inicializar um cluster eu até fiz uma interação aqui perguntando em português né como fazer a inicialização de um cluster ali no no databricks e ele te responder trazer exatamente a resposta que você precisa e usando ali uma conversação natural né então é mais ou menos isso que a gente quer chegar né e como que a gente chega nesse nesse Exemplo né nesse nesse chatbot tá Então pessoal eu não vou me aprofundar tanto nos detalhes do

código Tá eu vou passar mais a ideia do que tá sendo feito aqui o que é super interessante é essa demonstração que a gente tá mostrando aqui hoje ela é baseada uma demonstração que é pública e que vocês podem acessar através do DB demos Tá eu vou pedir pro pessoal eh O Alberto por favor eh a se puder compartilhar o link depois ele vai ser compartilhado via e-mail também tá bom mas nesse link vocês vão poder acessar a versão completa dessa demonstração tá tem algumas diferenças mas lá tem tem até a alguns passos adicionais Super

Interessante Tá bom então como eu comentei ah a gente né seguindo a aquela curva de maturidade que o Alberto comentou ali da das eh das abordagens diferentes abordagens que a gente tem nessa demonstração a gente vai focar especificamente aqui no leg tá que é você usar o llm para fazer toda a conversação mas a gente trazia um contexto adicional para que ele possa ser muito mais eficiente muito mais acurado na resposta tá para isso se a gente pensar no fluxo que vai ser eh criado aqui na nossa dem estração a gente vai dividir isso em

duas etapas tá a primeira etapa é o que a gente tá chamando de preparação de dados então Eh aqui Eu precisaria buscar toda a documentação databrick para trazer isso para uma tabela Delta tá porque é o que eu vou usar para para enriquecer o meu llm né para responder com mais mais acurácia tá E aí uma vez que eu tenho esses eh essa esses fragmentos de documentação e uma tabela Delta a gente vai para uma etapa de criação do nosso Vector search index tá essa parte é uma uma uma parte Super Interessante Talvez seja novidade

para para pra maioria aqui né mas é uma feature um recurso que a gente traz aqui dentro da plataforma Então a gente vai ver como funciona né vou falar muito a de como a gente vai associar os modelos de eding né O que que a gente tá de fato fazendo aqui no Vector search né Então na verdade eh uma vez que a gente cria esse Vector search a gente tem uma segunda etapa que a gente tá chamando de inferência tá a inferência É de fato a a ja pensando na construção do nosso chatbot né na

primeira etapa a gente preparou todo o nosso contexto adicional né em volta da da documentação da databricks na segunda etapa a gente já começa a trabalhar com chat no sentido de que a gente recebe uma pergunta né do usuário por exemplo como eu inicializo um cluster datx E aí essa pergunta eh O llm ele ele recebe essa pergunta né ele precisa interpretar isso de uma certa forma e aí ele precisa buscar informações relacionada à aquela pergunta para poder devolver um output para vocês para poder dar a resposta né Eh de uma maneira bem simplista né

falando do nosso fluxo tá então a gente vai entrando aqui nas etapas e eu vou explicando como que isso acontece tá bom nessa primeira etapa quando a gente fala de preparação de dados a preparação em si a busca da documentação da dat Break e colocar isso uma tabela Delta a gente nessa demonstração tá a gente tá partindo do pressuposto de que a gente já tem esses fragmentos de documentação uma tabela Delta tá bom Por quê pelo tempo nosso aqui né Eu acho que a gente acha que é mais interessante a gente focar aqui no Vector

Search na construção do chatbot do que de fato nessa primeira etapa não que ela seja é mínima né ou que ela não seja importante porque é super importante né Tem vários várias vários pontos de atenção que a gente tenha que ter aqui mas eh acho que para hoje né é interessante a gente focar nessas outras etapas Tá bom então se a gente observar né a nossa tabela Delta eh vai ser mais ou menos né a gente olhando essa essa célula a gente tem três Campos tá onde eh eu tenho um ID então para para cada

fragmento da minha documentação databricks Eu tenho um um ID específico tá bom eh esses fragmentos que estão eh sendo representados pela coluna content eh eles também vão vão ter a a URL onde você pode encontrar Aquela aquele fragmento da documentação tá então tem o campo de URL Onde você consegue acessar aquele trecho e o conted que é onde ele traz essa esses trechos de documentação tá então basicamente é isso que a gente vai usar aqui como informação adicional pro nosso chatbot tá se a gente olhar aí eu já deixei aqui numa outra Binha para ser

mais rápida essa tabela Delta ela tá eh no meu exemplo ela tá dentro de um catálogo tá que eu tô chamando de de Livia underline catálogo bem eh bem intuitivo né dentro de um de um esquema que eu chamo de defo e ela tá aqui presente com o nome de dat braks underline documentation Tá bom então se a gente a gente olha aqui por exemplo uma sem poeira exatamente o que a gente estava vendo ali no notebook né os três Campos né o ID a URL e o c tá bom eh e aí o que

que acontece a gente tem que para uma primeira etapa né que seria a aqui já a segunda né que é trabalhar no nosso Vector search index Tá bom o que que o Vector search index ele faz né Eh se a gente pensar no mundo eh de modelos né eh isso não só para para llm mas de uma maneira geral é muito mais fácil o modelo né que tem toda uma questão matemática por trás ele compreender eh O um texto em forma de números né então o Vector search index ele vai ser responsável por pegar aqueles

fragmentos da da documentação né e aplicar um modelo que a gente chama de modelo de impeding né que é responsável por fazer a transformação desses textos e em vetores tá porque através de vetores Você fica muito mais fácil a gente buscar por similaridade então por exemplo se eu mando uma pergunta lá perguntando como que eu inicializo um cluster eh o modelo ele consegue interpretar melhor se tiver em vetores né então ele vai compreender aquela pergunta ele vai fazer aquela transformação para vetor da pergunta e depois ele tem que eh a gente tem que buscar dentro

dos vetores ali dos nossos eh das nossas documentações o que que é similar né o vetor que está próximo ao vetor da pergunta tá então para fazer essa busca de similaridade para que ele possa responder exatamente o que você tá perguntando Tá bom então criar o nosso Vector search index é gerar né Essa essa esses índex né esses vetores para toda a nossa documentação ali tá bom para isso a gente precisa criar o que a gente chama de Vector search end Point Tá o que que é o o o endp aqui nesse caso né eh

Como Eu mencionei para fazer essa transformação da de de um texto né ou seja da documentação para para vetor né ou da pergunta ali para para para vetor a gente precisa de um modelo de eding né que é um modelo que ele tem essa tesque específica de fazer essa transformação tá bom diferente de um modelo de chat né aqui é um modelo de embed E aí pra gente chamar esse modelo de embed fazer essa transformação a gente precisa ter esse esse esse endp para fazer essa busca de similaridade tá então vou mostrar para vocês eh

via interface tá até para ficar mais simples e mais claro aqui ã o que a gente tá fazendo mas isso também é possível fazer via api tá ã Mas a partir do momento que eu tenho né essa atividade de criar um end Point se eu acessar aqui na abinha de compute vai ter uma aba que a gente chama de Vector search Tá acessando aqui o Vector search essa lista que vocês estão vendo são vários end points tá bom pro mesmo endp vocês podem ter vários eh Vector search index tá então várias indexações de várias tabelas

Delta aqui tá bom então você não precisa associar um ind Point a um único index eh se a gente para criar né basta criar é é clicar no botão de de de criar ali né do lado direito e você dá um nome por exemplo eh para ele aqui tá E aí ele confirma quando confirma ele vai tá disponibilizado aqui né se a gente abrir um por exemplo gente pode ficar disponível cada eh cada linha dessa é um Vector search index que foi criado baseado nesse endp tá bom E aí pessoal uma vez que a gente

criou o endpoint aí sim eu eu posso criar o Vector search index né que é a a a tabela ali que vai ser consumida com essas com esses vetores né relacionados à nossa documentação tá como que eu crio o Vector search index né Eh se a gente voltar aqui no catálogo eu vou lá buscar dentro do meu catálogo aqui né Lívia eu tenho o meu o meu esquim eu tinha lá a minha tabela databits documentation com os fragmentos da documentação se a gente olhar aqui no lado direito existe uma opção de criar o Vector search

index tá ã aqui você pode mencionar onde esse índex vai ser armazenado né então Posso manter no mesmo catálogo esima por exemplo e eu posso dar um nome para ele né então por exemplo webner vs index tá eu preciso mencionar uma chave então no meu caso eu tenho um ID onde o ID responde né a cada fragmento da documentação que eu tenho tá bom eu tenho que associar um endp que é o nosso endp lá que a gente criou tá então posso eh vou pegar um que já tá disponível aqui né E aí você tem

duas formas de trabalhar com a parte do embed tá bom ã você pode por exemplo usar a opção de que você já tem uma coluna com ebed criado tá então você não precisaria associar um modelo aqui para ele fazer essa transformação você já tem isso Pronto né ou você quer realmente calcular os edgings tá E aí sim você vai precisar associar o modelo Tá bom então para isso no nosso exemplo a gente tá seguindo o exemplo de calcular os imeds tá então aqui você vai ter que mencionar Qual que é a coluna da sua tabela

que tem o texto né os fragmentos da documentação então no meu caso é o content a coluna content e a aqui eu preciso mencionar Qual que é o modelo de embedding que eu vou usar tá então você né pode e inclusive aqui no nosso exemplo a gente vai usar o que a gente chama de BD lard né que é um modelo que se a gente eh acessa o o Model ser da databricks que a gente já vai ver eh ele já tá lá disponível ele tem um endpoint disponível para você utilizar que é o foundation

models que o que o que o Alberto tava comentando tá então ele já tá aqui disponível você pode usar esse modelo que é um modelo específico para embed tá para essa tesque eh e aí depois você pode trabalhar com modo de sincronização desse índex então o que que acontece imagina que a minha tabela que tem toda a documentação da databricks ela passa por alguma atualização quando ela passa por atualização eh é interessante a gente eh atualizar também o nosso índex por exemplo alterou um fragmento ou a adicionou algum fragmento né então acontece né de fazer

alterações e você tem que refletir isso no seu índex então você pode sincronizar esse modo se vai ser no modo Trigger né ou contínuo Tá bom então a gente pode manter aqui no Trigger e criar esse índex no meu caso pro exemplo eu tenho isso criado né Eh que é o que eu tô chamando de databrick documentation vs index tá quando a gente clica lá ele mostra toda a a característica que foi utilizada ali no momento da criação dele tá bom então a gente consegue ver baseado em qual tabela né baseado em qual end Point

do Vector search tá bom qual foi o modelo de embed utilizado tá E aqui é a com relação à sincronização inclusive o pipeline que é criado automaticamente para fazer essa sincronização tá bom ã E aí nessa etapa a gente já tem o nosso Vector search né se a gente quiser testar isso né esse é o fragmento aqui de de código que mostra Ah eu quero ver como que tá a busca por similaridade agora do meu Vector search essa busca por similaridade por exemplo se a gente manda uma pergunta né aqui a gente quer Eh tá

preocupado em rastrear o faturamento os custos ali associado a minha workspace do databricks né E aí eu quero saber como eu posso fazer isso tá então eh para eu buscar né os fragmentos que são similares a a esse contexto que eu tô dando na minha pergunta eu basicamente tenho que passar Qual que é o endp que foi utilizado né pro pro Vector search tá para fazer essa busca de similaridade e qual que é o nome né do meu índex tá então que é o que eu mostrei lá para vocês criando na interface uma vez que

a gente passa essas informações né para obter a os documentos ali que são similares eh ele vai me retornar a gente pode focar aqui nesse trecho do resultado que ele me retorna a alguns trechos da documentação falando como que você pode monitorar os seus cursos e tudo mais tá só que percebam que aqui ele só tá trazendo esses fragmentos ele ainda não traz eh usando uma linguagem natural no modo de conversação eh trazendo uma personalidade paraa resposta né Ele só tá trazendo Quais são os documentos similares aí que é o que a gente vai aprimorar

né Eh que é agora a segunda etapa que de fato criar o chatbot usando o que a gente criou na etapa anterior tá bom para isso o que que a gente vai fazer a gente vai usar o que a gente chama de L chain né o l chain ele é como se fosse eh ele é uma Framework que ele na verdade ele vem para deixar tudo mais simples né onde ele vai deixar eh ele vai abstrair toda a lógica e as chamadas de e de api necessárias aqui tá bom então usando essa estrutura de L

chain ele vai ser responsável por duas coisas aqui no nosso Exemplo né primeiro a criação da pergunta tá então uma vez que o usuário ele manda a pergunta por exemplo como eu inicializo o meu cluster ele precisa transformar isso né fazer a transformação para vetores para você poder encontrar eh a similaridade né e depois ele precisa buscar a similaridade né então chamar ali o nosso Vector search index para encontrar esses documentos tá bom ah aqui é um exemplo bem bem rápido de novo não vou focar muito no no resultado né Mas se a gente usar

essa estrutura de de de L chain né então aqui por exemplo chamando o nosso modelo eh foundation lá o databrick bid lard né que já tá disponível lá no serving você e mandando a nossa pergunta né Por exemplo o que que é a pas Spark né então ele tá fazendo ele tá aplicando esse modelo de imbed na pergunta tá eh e aí usando né ele deixa aqui o nosso código mais simples para trazer por exemplo os documentos mais relevantes então el de novo ele traz né a a os documentos que são similares mas ainda a

gente não tem um chat né toda aquela parte da conversação tá para criar o chat nesse exemplo a gente vai usar o modelo do do lhama do Tá bom então se a gente quiser testar o endp que tá disponível lá no server no databricks né chamando o Lhama 2 nesse teste por exemplo eu posso passar uma pergunta né O que o que é a pasa spar e ele vai me responder já numa forma mais natural né então ele vem ele fala que que o Spark é uma plataforma de processamento de dados né ele dá toda

uma historinha aqui né Eh só que aqui quando ele tá respondendo essa pergunta por exemplo ele tá respondendo Com base no que Ele sabe já né ele não tem nenhum contexto adicional aqui por exemplo da documentação da datx para responder tá tá então agora a gente vai juntar esse modelo o lama do com o que a gente construiu anteriormente né para isso eu vou eh criar eh eu vou começar a dar uma personalidade pro meu chatbot tá então eu preciso dizer como ele vai se comportar né O que que ele vai o que que ele

precisa responder então aqui eu vou dizer para ele né Eh que ele é um assistente pros usuários e databricks que ele vai responder perguntas associadas à Ciência de dados engenharia de dados Park eh api enfim né vários contextos aqui que a gente consegue responder e aí a gente fala que se tiver alguma pergunta que não seja relacionada com com com né com esse contexto eh ele não precisa responder Se ele não souber ele não precisa responder Enfim então a gente dá algumas direções pro nosso pro nosso chatbot para ele criar a personalidade dele né e

a gente menciona que se ele eh ele pode usar o o o contexto adicional né para responder a pergunta que é o que a gente tá passando aqui tá bom então eh a gente passa né esse contexto Passa esse o que a gente chama de template que é a personalidade dele e a gente passa a informação da pergunta tá uma vez que a gente eh cria essa essa lógica né a gente pode testar Então se a gente mandar por exemplo a pergunta lá onde eu tô preocupada em Como rastrear o faturamento os meus os meus

cursos ali na workspace ele já ele me responde né antes a gente tinha feito essa pergunta ele tava só trazendo os fragmentos né aqui não aqui ele já tá sendo mais natural porque a gente combinou o llm com o reg tá então ele já vem Ele já responde que eh você pode eh rastrear a sua workspace usando um portal enfim aí ele traz toda o o passo a passo aqui algo muito mais amigável de fazer a leitura né né O que que é importante esse modelo ele ele deve ser governado né e ele deve ser

registrado para que vocês possam depois acessar controlar acesso eh ver toda a característica do experimento né através do do do ML Flow tá então aqui nesse nesse nesse trecho de código a gente tá realmente registrando esse modelo na nossa camada de governança que é o que a gente chama de unit catalog né onde você vai poder controlar o acesso esse modelo e também registrando todo o experimento ali no ML Flow tá se a gente olhar lá no meu catálogo né E no meu esquema tem uma abinha de modelos esse modelo ele tá registrado né ele

através daquele código ele foi registrado aqui ele traz informação de versionamento né eh você pode colocar tags e colocar informação de qual que é o status desse modelo se ele tá em produção ou não E aí eh aqui você pode pegar a informação também do experimento né então por exemplo quero ver os artefatos desse modelo você consegue acessar aqui tá bom E aí pessoal eh por último é interessante a gente enviar né esse modelo pro criar um endp pra gente poder servir esse modelo tá o endp a gente vem aqui nesse Model serving né os

modelos que eu comentei lá o bid lard o lama 2 eles estão todos disponíveis aqui para vocês eh consultar o endp né E para criar um endp pro seu chatbot você né clicando lá você dá um um um nome para ele tá aqui você vai mencionar onde tá esse seu modelo então o meu modelo já tá registrado no Unit catalog E aí eu posso eh buscar ele dentro do meu do meu catálogo e esima tá e criar aqui eh o meu endp por exemplo ele tá criado né para esse para esse exemplo E aí você

pode depois conforme vai tendo as requisições e acompanhando todas as médicas das requisições tá pessoal eh passando brevemente né mas eh Acho interessante compartilhar isso com vocês como Eu mencionei isso já está disponível lá no dbd que vocês podem acessar também tá bom eh agora a gente vai ter acho que um pouco mais rápido mais uma sessão de q&a enquanto o Alberto eh busca o alguma pergunta para responder aqui no ao vivo com vocês eh eu vou a gente vai compartilhar com vocês o forme tá onde eh vocês podem se vocês tiverem interesse em compartilhar

Qual é o caso de uso de vocês que vocês estejam trabalhando gostariam de trabalhar vocês podem mencionar aqui e se vocês quiserem a nossa ajuda né Eh para entender como implementar né ter o nosso apoio ali e para trazer um pouco mais de detalhe até outras features que não foram mencionadas aqui hoje é eh vocês podem né colocar o sim aqui para que a gente entre em contato com vocês e é lógico aí para entrar em contato a gente precisa da informação aqui do nome do e-mail corporativo de vocês tá bom vou só compartilhar aqui

deixar na página enquanto o Alberto pega algumas perguntinhas aí muito bem vou vou ficar com vou fazer spam aqui de formulário aqui porque eu coloco aí já sobe tanta gente falando então tem aqui no link se vocês quiserem eh tirar o bom e velho QR Code Enquanto isso vamos para as perguntas tá acho acho que a gente pode eleger duas perguntinhas aí Alberto se você puder pelo tempo então o Vector search eh index eu eu poderia por vi o Marcelo Manis falando vect search é é usado é é usado da databricks isso é nosso tá

eu poderia fazer com chromo faz Pine code certamente certo você consegue pense assim que o o o datab é um grande laboratório nesse aspecto e você consegue instanciar o que você quiser lá dentro resta saber se é uma solução em desenvolvimento faz todo sentido quando você produtizar isso tem que ver se isso vale a pena manter dentro do Mas se você quiser para uma questão de velocidade super possível porque você pense que você tá com jup notebook você vai lá some seu chroma e utiliza os dados dele pr pra frente tá e eu coloquei aqui

algumas perguntinha rapidamente pr pra Livinha aqui e aí Isso aqui é uma pergunta base mas eu acho importante a datab disponibiliza cursos ou treinamentos específicos para ia Livinha que que você acha sim existe a nossa plataforma nosso portal databrick Academy tá lá tem vários cursos tá pessoal não só dessa parte de gni tem toda a parte de engenharia eh de ciência de dados eh de análise de dados e também agora a gente tá trazendo novos novos treinamentos ali ah eh materiais ali em torno desse tema de Geni que a gente sabe que eh a maioria

aqui tá né buscando por bastante informação sobre o assunto então é totalmente acessível lá por vocês tá bom certo e a última perguntinha Liv para você também a tabela Delta é um Vector Store explica aí essa diferença por favor isso foi a pergunta do Marcos transini tá eh existe a nossa tabela ali né que tem a documentação né E aí tem aquela tabela ali a tabela Delta né E aí a gente cria o índex baseado nela onde a gente cria um pipeline dlt baseado nessa nessa nessa tabela Delta tá esse pipeline dlt para quem não

sabe o dlt que eu tô falando é o delta Live tables tá E esse pipeline ele é responsável por fazer a a a a a atualização lá que eu comentei baseada na tabela Delta Tá então não sei se ficou Claro se se Alberto até quiser complementar não é isso mesmo Delta tables e depois você sinca essa com com o seu Vector shirt e consume isso eh rapidamente Tá então vamos vamos fechar Livinha e deu e dou a voz para ti para fazer esse fechamento tá bom obrigado Alberto bom Pessoal espero que tenha atendido a expectativa

de vocês tá Lógico que uma hora aqui é um Tempo muito curto pra gente passar tudo que tem de novidade da plataforma tá eh tem eh novidade tanto em torno de de ai Ah Para apoiar o usuário no dia a dia né consumindo ali a plataforma assim como o que a gente abordou hoje que é os recursos de ai para suportar e habilitar o caso de uso do cliente tá bom eh a gente tá super à disposição para quem quiser conhecer um pouco mais eh quiser entender Até no detalhe Talvez esse exemplo ou outros exemplos

os outros casos de uso podem contar com a gente entra em contato para que a gente possa auxiliar vocês nessa nessa jornada aí tá bom muito obrigada pela presença de todos e obrigada quem quem tava aqui nos ajudando Obrigada Alberto Obrigado pessoal obrigado gente até a próxima