Olá meu nome é George marstein e neste vídeo vamos falar de um dos conceitos mais importantes para entender o chat PT que é o conceito de janela de contexto nós vimos no vídeo passado que os modelos mudam basicamente a capacidade de processamento de texto que é a janela de contexto nos modelos mais antigos Você trabalhava com a janela de contexto de 1000 2000 3000 4000 tokens agora nós avançamos para 8000 16000 32. 10 8000 tokens e aviso para vocês que a tendência é aumentar cada vez mais essa janela de contexto e o que é exatamente a janela de contexto a janela de contexto é a quantidade de textos de informações que o sistema vai utilizar processar interpretar compreender identificar padrões para produzir respostas então basicamente a janela de contexto ela direciona a o caminhar futuro é o que vai estabelecer o que ele vai escrever em seg seguida a gente vai já usar o chat GPT para mostrar um pouquinho isso mas a tecnologia GPT ela funciona com a ideia de cabeça de atenção em tokens ela identifica determinados tokens que são considerados como palavras chaves ou palavras mais relevantes dão pesos lá internos de cálculos probabilísticos eh em relação a cada uma dessas cabeças de atenção e reconstrói um texto eh usando esses padrões que Ele identificou a partir daí Isso tá muito complicado né esses conceitos mais abstratos eu vou falar isso de modo mais prático aqui usando o próprio chpt eh inicialmente eu vou usar a versão 4. 0 né para explicar o conceito de janela de contexto e tentar construir uma metáfora de que eh essa janela de contexto é como se fosse uma pegada que vai crescendo eh antes de começar a escrever eu já quero dizer que toda vez que você inicia uma nova conversação você zera a janela de contexto ou seja não existe uma uma recordação das conversas passadas eu interajo com chat PT desde fevereiro de 2023 todos os dias várias horas do dia e ele eu se eu fizer perguntas aqui sobre mim ele não vai saber né Por quê Porque aqui é um é uma nova eh janela de contexto a mesma janela de contexto aqui que eu vou começar é a que está para você né só que as respostas vão ser sempre diferentes mesmo quando eu faço uma pergunta né O que é janela de contexto Então veja que ele vai dar uma resposta aqui né E aí ele vai dizer a janela de texto é um conceito utilizado em processamento de linguagem natural e em modelos de aprendizado de máquina especialmente naqueles relacionados à linguagem como GPT né generativo PR trin transforma depois a gente vai inclusive tentar entender melhor o que é isso eh em termos simples a Gené de contexto refere-se à quantidade de texto palavras frases ou tokens que o modelo leva em consideração ao tentar entender prever ou gerar a linguagem basicamente isso eu não eu vou dar uma explicação mais mais clara depois usando um conceito de uma metáfora de trilha mas eu quero dizer para vocês que se eu abro uma nova conversa aqui e pergunto o que é janela de contexto ele não lembra daquela conversa passada eh aqui é uma aqui se iniciou uma nova conversação portanto nós não temos ainda uma janela de contexto se eu escrevo a palavra O que é eu inauguro uma janela de contexto o que é janela de contexto nós já temos aí eh uma janela de contexto que vai gerar respostas e essa resposta vai fazer parte da janela de contexto como se fosse uma caminhada uma trilha em que você vai percorrendo então eu vou pedir para ele explicar Explique o que é a janela de contexto com uma metáfora de uma caminhada para de uma caminhada eu vou colocar aqui para uma criança uma metáfora de uma caminhada vamos ver se ele se ele faz isso e a partir de aqui daqui eh a gente começa a perceber o que que ele vai fazendo então a janela de contexto a linguagem computacional pode ser comparada a uma uma caminhada em uma trilha longa Imagine que você está caminhando por uma trilha numa floresta Mas pode ver apenas uma parte limitada da trilha à sua frente e atrás de você em qualquer momento essa essa sessão visível né do que consegue enxergar do que está prestando atenção é a janela de contexto à medida que você caminha a parte da trilha que você pode ver muda você ganha uma nova visão uma nova trilha à frente ou seja novas possibilidades de de escrever mas perde a visão de parte da trilha por onde você já passou isso é que é interessantíssimo a janela de contexto ela vai condicionar o resultado futuro Mas ela está também limitada pela quantidade do que ele pode ver no passado Então se a gente continuar uma conversa muito longa aqui pode ser que lá na frente ele Esqueça essa informação eh eu vou usar o 3.
5 que tem uma janela de contexto menor para tentar fazer um experimento para que a gente consiga ver a janela de contexto em ação e consiga ver eh o processo de esquecimento porque a janela de contexto ela eh condiciona tanto a parte da da do futuro do que vai ser escrito mas também ela tem uma uma questão da limitação do uso principalmente nós do direito né ou qualquer pessoa que trabalhe com textos muito longos vai precisar eh ter consciência de que há um limite de capacidade de lembrança de memória do chpt dentro de uma mesma janela de contexto eu vou colocar aqui um comando termine cada resposta com emojo de lâmpada para confirmar que está seguindo as instruções Então vou colocar aqui O que são tokens N E aí ele vai usando o 3. 5 Se você prestar atenção Ele está respondendo até mais rápido do que o quro por quê Porque o 3. 5 ele processa menos tokens ele faz uma análise menos profunda e daquela daquela janela de contexto Portanto ele vai acaba respondendo de modo mais rápido tokens são unidades individuais de texto que a linguagem é dividida para processamento em modelos de linguagem como eu cada tokem poem representar uma única letra um caracter especial ou até mesmo uma palavra completa dependendo do idioma e da codificação e veja aqui que ele seguiu aquele meu comando né de terminar com a lâmpada né agora Escreva um texto longo colocar aqui 4.
000 tokens sobre cabeça de atenção aqui nó eu aqui eu quero colocar atenção eu errei né atenção aqui eu quero colocar duas coisas para você primeiro direcionando um tamanho de tokens que você pode né dar uma indicação de resposta poderia ter colocar também caracteres poderia ter colocado letras poderia ter colocado palavras ele não vai ser preciso né nisso ele vai apenas saber que é um texto longo mas saibam que é possível direcionar também eh o tamanho da resposta e nesse caso o que eu vou querer fazer é construir muita e muita resposta porque talvez chega um momento que ele vai esquecer esse Primeiro Comando né Esse comando aqui da lâmpada e portanto no momento em que ele deixar de escrever a lâmpada eu sei que acabou a janela de contexto essa uma forma de a gente inclusive perceber a limitação de quando aqu ele começou a esquecer as informações eh Outro ponto que eu quero mostrar é que eu falei que eu tô usando uma uma pergunta cabeça de atenção que é uma pergunta técnica na linguagem natural e que se eu perguntar fora de uma janela de contexto que tem essa conversação né se eu perguntar o que são cabeças de atenção Talvez ele não saiba responder porque a gente não tá contextualizado nesse caso nós já falamos de linguagem natural né processamento em modelos de linguagem então aqui ele já sabe que essa resposta que ele deu né Falando de linguagem natural falando de Inteligência Artificial e isso já está condicionando essa pergunta aqui essa palavra chave e aqui a gente vai entender o conceito de cabeça de atenção é um componente fundamental em modelos de processamento de linguagem natural né Depois eu vou pedir para ele descrever uma metáfora né para ver se se facilita eh com redes neurais ela desempenha um papel crucial na capacidade desses modelos de compreender e gerar texto de maneira coerente contextualizada e relevante neste texto exploraremos em detalhes O que é uma cabeça de atenção como ela funciona ele escreveu aqui uma né uma um texto longo justamente cumprindo aquele comando de eh seguir os tokens que eu coloquei mas eu vou pedir agora explique o conceito com uma metáfora eh a metáfora é um componente importantíssimo na aprendizagem sobretudo de conceitos complexos porque nos permite a partir de um de um domínio conhecido de algo que a gente Domina algo que a gente entende entender o desconhecido né Um Domínio que a gente quer entender eh e que é mais complexo então o uso de metáforas nesse processo de aprendizagem ele é muito útil e nesse ponto o chat GPT é muito bom e veja que eu tô usando 3. 5 uma versão gratuita eh e aí vou pedir para ele explicar o conceito de ah Outro ponto aqui importante é que veja que eu não falei aqui cabeça de atenção né explique o conceito com a metáfora eu não falei que era cabeça de atenção eh E por que que eu sei que ele vai responder correto porque ele está preso à janela de contexto ou seja essa resposta eh abriu uma trilha sobre cabeça de atenção e portanto ele está eh colocando aqui uma metáfora para explicar esse conceito Imagine que você está assistindo a um espetáculo de circo é um grande palco no centro desse palco é um artista de circo fazendo malabarismo com várias bolas coloridas cada bola representa uma palavra abre uma frase ou uma sequência de frases a cabeça de atenção pode ser comparada a uma equipe de espectadores muito atenta na plateia do Círculo cada membro dessa equipe está encarregado de observar de perto uma bola específica enquanto ela é jogada pelo artista cada espectador o cabeça de atenção está focada em uma bola diferente e presta atenção como ela se move sua cois sua trajetória talvez não esteja tão claro eh mas o que eu quero colocar aqui é que a cabeça de atenção vai ser importante porque quando a gente tiver criando proness comando né dialogando é o principal vai ser a gente incluir nesse prompt as chamadas palavras chaves que são justamente as cabeças de atenção que vão direcionar respostas mais precisas Então vou pedir aqui agora para ele explicar explique em um texto de 10. 000 tokens O que é o modelo GPT seja didático de exemplos ensine como se eu tivesse 14 anos e aí portanto Muito provavelmente ele também vai usar metáforas e aqui eu já coloco outra né outra dica já a gente vai trabalhando na prática mostrando como funciona eu estou sendo fazendo o uso mais básico mais simples do GPT inclusive usando GPT 3.
5 modo extrativo né então modo de eu extrair informação conceitual nesse caso portanto dá para usar o modo extrativo né né da da base dele eh e eu estou pedindo informações de conceito né O que é o conceito e tô também direcionando aqui com três pontinhos que é uma técnica que eu utilizo para dar alguns direcionamentos e pedindo para ele ser didático de exemplos ensino como se eu tivesse 14 anos e aí ele tá falando o que é o GPT significa generative train transforma é um tipo de modelo de Inteligência Artificial que é usado principalmente para entender e gerar a linguagem natural imagine o como um assistente de linguagem muito inteligente que aprendeu muitas coisas lendo enorme quantidade de texto na internet vou te explicar cada parte do nom para entender melhor como ele funciona generativo significa que o GPT pode criar texto novo e original por exemplo você pode pedir ao GPT para escrever um história sobre um dragão que vive em uma floresta encantada e ele pode gerar essa história para você né é o é a questão que a gente vai ver lá na frente que o chpt ele não reproduz o passado ele não tem o modelo fotográfico ele cria o futuro ele transforma forma padrões do passado para criar um texto inédito e novo e esses textos que a gente tá gerando aqui com ele todos esses textos eles são textos que não existem né que não existem o conceito existe as ideias existem mas os textos em si foram criados agora a partir da minha interação com ele e dificilmente esse texto será gerado de novo né por outro usuário dentro da mesma eh da mesma lógica né de que a gente vai usando e portanto ele vai criando algo inédito sempre que a gente interage com ele então pré-treino antes de começar a trabalhar em tarefas específicas o chat GPT eh o GPT é treinado em grandes quantidades de texto é como se fosse uma etapa do aprendizado Inicial Imagine que o GPT é um estudante que lê muitos livros antes de começar a fazer a lição de casa e aí a gente também já pode pensar como é que ele treina ele treina tentando identificar padrões né um modelo muito simples de treinar a máquina é você pegar textos tirar determinadas partes do textos palavras frases e pedir para ele completar na medid a medida em que ele vai acertando ele vai aprendendo a identificar Quais são as palavras que vão caber dentro daquele comando Depois tem uma parte supervisionada em que você usa o ser humano para treinar a máquina mas enfim é apenas para que você saber que ele é prét treinado ele ele aprende uma parte sozinho e depois passa pro treino supervisionado e Transformer é a parte técnica transforme é uma arquitetura de rede neural que ajuda a GPT a entender o contexto das palavras em um texto é como o conjunto de regras que o GPT segue para entender como as palavras estão relacionadas umas umas outras Então como funciona na prática ele vai escrevendo aqui eh o texto e portanto vai explicando como é que faz tudo isso eu posso depois e aqui é um ponto importante eu posso depois eu vou deixar compartilhado esse link aqui ó eh eu tenho a possibilidade de compartilhar conversa né de compartilhar conversa e aí portanto eh vocês podem até podem até continuar a conversa depois eu vou deixar no link esse essa conversa compartilhada e vocês vão poder ver com calma mas eu já adianto aqui é um texto que ele vai criando cada vez mais novo e o que eu quero mostrar para vocês aqui o principal é isso ó ele está ainda mantendo a informação original ou seja até por enquanto eu posso dizer que ele não esqueceu nada qualquer coisa que eu perguntar aqui ainda está dentro da janela de contexto porque ele tá seguindo aquele primeiro comando que eu dei agora Escreva um texto de 3. 000 tokens sobre eh treinamento de máquina então colocando aqui algumas ideias meu objetivo é fazer com que ele escreva vários e vários vários tokens até esquecer aquele momento porque a gente vai conhecer esse conceito de esquecimento que é um conceito importante para perceber os limites por quê Porque muitas vezes nós estamos trabalhando com texto jurídicos com textos longos um livro e a gente começa a conversar a interagir e não se dá conta de quee ele esquece que ele vai esquecer a informação então aqui ele ainda tá lembrando aquele comando Inicial tá fazendo portanto isso e E aí a gente pode eh a partir daí colocar os limites da janela de contexto agora um texto de 10. 000 palavras sobre liberdade de expressão aqui eu tô querendo que ele bagunce um pouco a janela de contexto né aqui mais uma dica prática para vocês toda vez que a gente tá conversando sobre um tema específico a gente trabalha dentro de uma janela de contexto se a gente vai mudar a tarefa vai mudar o conteúdo vai mudar o estilo vai mudar né o que a gente quer o ideal é iniciar uma nova conversação começar uma nova conversa eh e aí Aqui um ponto interessante ele começou a Gerar a resposta e chegou no limite né chegou no limite não conseguiu concluir tudo que eu o comando que eu dei você pode botar o comando né continuar gerando E aí Portanto ele vai continuar gerando a resposta o que eu quero é realmente Que ele continue gerando eu vou depois eh dar um comando ainda mais longo né para ver se ele não esquece o que eu pronto aqui aqui aqui a gente já pode perceber que ele esqueceu né Eh eh chegamos onde eu queria chegar depois de muito tempo ou seja o chat pd 3.
5 ele evoluiu também ele hoje pelo que eu vi lá né trabalha com com 16. 000 tokens né muito longo né a quantidade de tokens Deixa eu só tentar ter certeza né para que a gente saiba eh 16. 000 tokens então é o uma quantidade de tokens muito grande que ele trabalha e portanto né tá muito poderoso também até o 3.
5 né em termos de janela de contexto mas veja eu coloquei um comando aqui no começo que era termine cada resposta com emoji de uma lâmpada para confirmar que está seguindo as as instruções E aí começamos nós começamos a conversar quando chegou aqui até aqui até essa resposta ele tava cumprindo o comando ou seja ele lembrava daquela daquele comando que eu dei nessa última que eu pedi 10. 000 palavras escreve o texto terminou o texto e não colocou a lâmpada a partir daqui eu sei que ele esqueceu então a janela de contexto é como se fosse uma trilha uma caminhada que você vai caminhando é uma pegada que você vai deixando essa caminhada ela vai direcionar os caminhos futuros né Por Conta do da atensão que ela vai gerar o que você pode olhar o que você pode enxergar e ela vai direcionar só que na medida que você vai caminhando e essa conversa vai ficando muito longa há um risco de a conversa lá atrás ser esquecida ficar apagada né e portanto você você não vai ter como reproduzir isso se você tiver trabalhando por exemplo na versão paga com 128.
