Lailla: Consumo de Tokens Descontrolado? A Solução Definitiva!

seus fluxos estão consumindo muitos tokens tá ficando inviável esse atendimento todo com inteligência artificial chega mais que eu vou mostrar para vocês onde pode est o [Música] problema caso você tenha caído aqui nesse vídeo sem assistir os anteriores saiba que eu sempre deixo aqui na descrição desse vídeo um link para você se cadastrar aí na Laila que é essa ferramenta que eu utilizo em todos os vídeos beleza meus contatos de Instagram WhatsApp também estão aqui embaixo eu presto serviço de construção de fluxos com essa ferramenta para o WhatsApp com a inteligência artificial Se precisar de alguma coisa é só me chamar a gente troca uma ideia também pessoal falando sobre o assunto de tokens eu vejo muita gente desesperada às vezes que o consumo de tokens está absurdo né no no fluxo que a pessoa montou e realmente às vezes isso acontece mas eh tudo tem tudo tem solução aqui na Laila a gente consegue achar meio que solução para tudo eu vou tentar apontar para vocês aqui pelo menos o que eu já esperei eh já passei aqui né na na de de sufoco também em questão de tokens tá já também gastei muitos tokens e achei algumas soluções para para resolver esses problemas para mim eu vou apontar para vocês aonde eu percebo que que tem esse consumo de tokens e e o que eu geralmente faço para para tentar diminuir um pouquinho tá eh Pode ser que você já tenha um conhecimento básico aí já entenda bastante disso mas a ideia aqui é justamente mostrar desde o início aonde o conso e onde não consome tokens e e como tentar evitar diminuir né pelo menos um pouco esse consumo bom pessoal a gente tem basicamente aqui eh dois tipos de de tokens na Laila né tanto o deixa eu ver onde é que eu vou aqui no dashboard isso tanto os tokens aqui de GPT né e os tokens de voice Studio eu vou focar mais aqui nos do GPT tá porque geralmente é onde a galera mais mais sofre aqui mas eu basicamente o o os princípios aí valem pros dois tá bom deixa eu ver aqui eu tinha aberto esse fluxo Zinho só para para ter algum exemplo é o seguinte galera toda vez que a gente abrir um bloco de GPT vai consumir token quando tanto na Ida quanto na volta tá eu tô aqui por exemplo com um exemplo de um prompt que eu utilizo eu tenho utilizado bastante os meus fluxos tá funcionando lindamente que é o prompt de eh distração de nome tá aqui ele geralmente aquele primeiro prompt que a gente utiliza no no bloco de GPT e o que que acontece esse fluxo tá zerado aqui não tem nada aqui cara deixa eu até escrever aqui o o campo para ele salvar tal e o que que acontece gente eh primeira coisa quanto menor for o teu promt menor vai ser o consumo por quê aqui vocês podem perceber até vocês já devem ter visto Tem muita gente que usa um prompt bem pequenininho para extração de nome mas utilizando Eu já tentei esses prompts zero shot assim bem pequenos para para realmente não não consumir muito mas em alguns momentos em alguns fluxos meus houveram falhas tá tem alguns casos que a pessoa Às vezes fala mais de um nome numa mesma mensagem ó oi tudo bom fulana foi o outro que me indicou meu nome é tal aí já buga tudo lá então esse aqui tem funcionado muito bem para mim tá E realmente ele fica um pouquinho maior e o que que acontece né Eh para quem não conhece Tá eu vou copiar aqui de novo esse fluxo mas acho que já tava na minha área de transferência existe aqui um site da Open Ai que é o tokenizer Né token tokenizer acho que assim que fala aonde você pode jogar o seu prompt e ele vai mostrar exatamente o número de tokens que esse prompt tá consumindo Então veja que esse meu prompt todo aqui que eu joguei no de extração de nome ele tá me consumindo toda vez que eu vou perguntar o nome de alguém tratar o nome ele vai me consumir 145 tokens isso só da ida tá porque e tem gente às vezes que acha que um token é equivalente a um caracter e não é pode ver que o meu Prom ele tem 561 caracteres e cada parte coloridinha dessa aqui ele considera um token diferente tá então às vezes ó pode ver que às vezes ele considera uma letra e um espaço um token às vezes ele considera ó un cinco caracteres aí ó seis sei lá quantos que tem aqui praticamente um tokem também então assim a explicação por trás disso eu não sei mas usem esse site às vezes para para saber tá o tamanho do Token pelo menos vocês estão enviando Vocês conseguem ver por aqui o que tá voltando Aí a gente consegue de repente controlar aqui no aqui no na quantidade de tokens aqui ó que tem esse uma espécie não é termômetro mas o máximo de tokens que a gente pode utilizar né o que que acontece então quando eu quando eu envio a solicitação ele vai gastar lá os 145 tokens na volta para uma extração de nome eu posso facilmente deixar aqui ó um Eu geralmente eu deixo uns 30 40 tokens para mim já é mais do que suficiente utilizo 3. 5 que consome muito menos tá é muito difícil utilizar eh Na verdade eu acho que eu não tenho nenhum fluxo que utiliza o GPT 4 porque assim realmente é absurdo é muito Tok não tem como e sim as respostas são excelentes Às vezes você coloca um promt super simples mal feito até e o GPT 4 dá conta de de responder bem só que vai ficar caro então se você souber fazer o prompt certo e jogar no 3. 5 você consegue fazer o tirar o mesmo resultado disso tá e a questão de manter o contexto né porque manter o contexto sempre vai consumir muito muito mais não sei exatamente quantos Mas eles até avisam aqui ó lá ela avisa ó tá consumindo muito mais tokens aqui que manter contexto por quê Porque ele vai pegar toda a parte anterior de tudo que vocês conversaram no fluxo Tá certo que aqui a gente tá no comecinho só tem a pergunta lá qual seu nome etc tal mas ele vai pegar tudo aquilo também são todos aqueles caracteres que vocês já conversaram antes e vai enviar também então esse é o manter o contexto ele pega tudo que tá lá antes e vai tratar isso também tá então por exemplo Digamos que eu tô nesse prompt eu tô gastando 145 tokens para para solicitar lá para tratar a extração de nome e ainda deixei mais uns 45 un 50 tokens para voltar o nome direitinho ou seja só paraa extração de nome da da pessoa e salvar isso eu tô gastando 200 tokens aqui nessa parte do fluxo tá então e essa é uma das primeiras eh uma das primeiras coisas aí a se preocupar sempre tentem utilizar o menor prompt possível esse é o cenário ideal mas às vezes vai vai falhar vai falhar e você vai ter que dar um prompt mais elaborado com exemplos e etc que nem é esse que eu tô usando aqui e eu utilizo às vezes prompts muito mais maiores que esses em outras partes dos meus fluxos tá para outros objetivos faz parte às vezes é preciso tá então pensem só na extração de nome a gente tá gastando aqui 200 aí em média 200 tokens só para ir e para voltar Tá o que que eu faço também tem gente às vezes perguntar Ah mas quantos tokens eu tô gastando no fluxo Eu geralmente monto meu fluxo venho aqui no meu no meu no meu dashboard eu olho aqui ó por exemplo eu tô com 200 eu tô com 2 96.

900 38 tokens gastos nessa conta eu guardo esse número eu digito aqui na calculadora em algum lugar volto lá no meu fluxo rodo todo o meu fluxo até o final aí eu volto aqui dou um F5 E aí eu faço a diferença entre um número e o outro aí eu consigo ver pô esse meu fluxo gastou 2000 gastou 3000 enfim depende do do que você tá criando aí tá E outra coisa se considerar pessoal muito importante é o seguinte deixa eu abrir um outro fluxo aqui que eu acho que eu até tava fazendo no outro vídeo eu acho que deve ter um aqui que era da Clínica isso essim mesmo aqui da clínica dentária que eu tava fazendo nos outros vídeos que é o seguinte aqui a gente já tem a primeira parte do fluxo que é o mesmo promt que eu tava no outro lado de extração de nome tá aí o que que acontece e a segunda coisa que eu me preocupo muito é com a base de dados por quê Porque aqui no no treinamento tá quando a gente quando a gente enche de de de informação aqui assim tá você pode porque base de dados assim tem gente que vem e enche o negócio de dados e realmente é para isso é para você colocar os dados do negócio do serviço etc só eu já cheguei tá passar por isso também eu fui lá e metral Hei enchi de dados acho que eu coloquei o máximo que cabia aqui eu nem nem sei acho que Quantos caracteres que caberiam aqui e aí eu fui lá passar no pelo comecinho do meu fluxo E aí eu fui gerar o o o bloco GPT só para extrair o nome aí eu olhei que só a parte aqui do bloco GPT ele tava gastando em média só para extrair o nome que geralmente eu deveria gastar aqueles 200 tokens em média ele tava me custando assim quro 5. 000 tokens só para extrair o nome eu falei que que loucura é essa cara fiquei louco eu demorei até para quebrar a cabeça quando isso aconteceu pela primeira vez por quê gente porque quando eu deixo eh a base de dados cheia de de de caracteres ali de informações Além do prompt que você colocou dentro do bloco GPT ele também vai pegar todas aquelas informações da base de dados juntar todos esses caracteres E aí né Dá para até jogar naquele tokenizer também para ver o tamanho que fica aí ele vai jogar tudo aquilo mesmo sem precisar daqueles dados mas ele vai jogar só para fazer uma extração de nome ou seja não tinha mínima necessidade né então base de dados é uma coisa que vocês têm que se preocupar tá esse por exemplo esse fluxo que eu tô criando aqui é só pra aula mas eu jamais deixaria o meu fluxo criado dessa forma como que eu faço eu quebro ele em parts né então o que que eu faço porque aqui ó nessa segunda parte é é um é um é um promt que eu deixei aqui opava minha cabeça aqui é é um prompt que eu deixei aqui só para ele responder as perguntas do do Lead tá esse prompt Sim esse Prom Eu preciso de uma base de dados cheia para ele poder dar as respostas eficientes conforme o meu objo tá só que eu não precisaria Só que nesse fluxo aqui é o que eu falei quando eu vou fazer a extração de nome aqui ele tá pegando junto a base de dados e isso é só tá desse jeito ainda porque eu tava montando o fluxo pra aula o que que eu faço para evitar isso gente é um é uma das primeiras dicas aí que eu faço dividam os fluxos de vocês em partes nunca façam aquele fluxo monstruoso porque uma vai gastar muito mais tokens e e às vezes cara fica tão confuso às esquece uma perna Ninha você esquece um detalhezinho um negócio você fica louco aquele fluxo Monstro É difícil de de achar o o problema qual é não é recomendável tá galera sempre quebrem o fluxos em partes então o que que eu faria nesse fluxo aqui por exemplo que nesse momento eu tenho dois blocos de GPT um só de extração de nome aqui tá esse só para extrair o nome e esse só para esse aqui esse segundo só para responder perguntas do Lead sobre o sobre o estabelecimento tá E esse sim precisa de base de dados eu pegaria esse fluxo e até aqui mais ou menos essa parte do voice Studio eu quebraria em um fluxo só e eu jogaria em um deixaria em um arquivo lá em um fluxo sem nada na base de dados porque aí com a base de dados totalmente zerada porque aí eu sei que ele só vai gastar aqueles 200 e tokens praticamente entre ida e volta de extração de nome terminou de extrair o nome eu já ia colocar um bloco de ação para ele jogar pra segunda parte desse fluxo que ia ser esse essa parte aqui o ou seja essa parte nesse essa segunda parte do fluxo aí sim eu ia ter uma base de dados cheia de informação porque eu ia precisar utilizar além desse prompt que tá bem grandinho aqui eu ia precisar toda a base de informações e aí sim ia ter um consumo maior de tokens aí Para uma terceira parte do fluxo que ainda não tá construída aqui de repente eu não vou precisar mais de base de informação né então assim eu acredito que tenha dado para vocês entender a ideia quebrem eh o fluxo de vocês em várias partes porque às vezes você até precisa eh colocar naquela parte do fluxo você nem precisa ter toda a base de dados lá no treinamento da ia Você pode ter só uma parte pequenininha entendeu só aquela aqu alguns parágrafos de repente dão conta de responder o que você precisa naquela parte do fluxo então deixa outra parte de de treinamento de ia pra outra parte do fluxo dessa forma você consegue consumir eh gastar menos tokens tá tanto na Ida quanto na volta é aquela história ã que mais que podia falar para vocês dividir os fluxos É isso aí tá e apis né quando a gente faz requisição de api também gasta né aí vai vai depender muito do que vocês estão montando então saiba que que utilizando os blocos de api também né dependendo da quantidade de dados caracteres tudo isso também vai consumir tá e e uma além né além dessa questão de de você dividir o fluxo em várias partes e controlar lá a base de dados para não consumir para não deixar muita coisa para não consumir mesmo o que você dá para fazer é blocos de condição né se você consegue construir um fluxo inteiro só com blocos de condição Pô aí é perfeita você não vai gastar é nada de token né praticamente então eh só que assim para isso você precisa est já com um fluxo muito rodado e começar a mapear muito o que os leads estão falando porque aí sim você consegue colocar um bloco de condução para um caminho para outro para outro se ele falar isso ele vai euu se ele falar isso eu respondo aquilo se ele falar isso sabe aí você vai simplesmente esquece os blocos GPT só que assim é é tão bom o bloco GPT e eles AJ ajudam tanto na construção do fluxo que se você souber usar ele pontualmente né e a ideia não é deixar lá o negócio num looping a pessoa perguntando e GPT respondendo sem parar dá para fazer dá mas assim a maioria dos negócios não vai ter cacife para bancar um negócio desse aí por mais alto ticket que seja a intenção não é essa GPT galera tanto Voice Studio quanto o bloco de GPT é para usar em como estratégia dentro do fluxo entendeu a gente usa de uma forma pontual para as vezes sim dá uma resposta personalizada pra pessoa bem bacaninha mas já tirar ela o mais rápido possível daquele caminho do do GPT e levar por condições e com frases né que que já estejam aí escritas antes e por aí então assim é tentem usar o GPT com com estratégia galera o que eu acho que eu diria que eu tenho feito nos meus é usar pontualmente com estratégia e principalmente o voice Studio agora entrando um pouco no assunto do voice Studio é é eu já vi muita gente que pega assim ó um bloco Tipo que nem aqui ó por exemplo eu tenho um bloco de GPT E aí um Voice Studio em seguida só que tem gente as vezes que pega por exemplo aqui ó essa parte do fluxo que esse GPT ele vai dar uma resposta elaborada com várias informações sobre o negócio tá então tem gente que deixa tipo os tokens super liberados aqui ó até aqui até Tá bastante ó tá 256 tokens beleza é um meio termo aí tá mas tem gente que deixa um máximo de tokens lá o contexto ligado e ainda coloca às vezes um um um bloco tem gente que P Eu já vi assim ó pega aqui ó e coloca um bloco de voice Studio logo em seguida aqui do do GPT não limita o tamanho ó Eu tenho o vídeo aqui Inclusive eu vou deixar o vídeo aqui na descrição e e aqui para vocês poderem clicar tem um vídeo já que eu falei de como limitar inclusive o tamanho da resposta do GPT porque o GPT normalmente ele também dá respostas muito extensas que é ruim pro Lead não é legal não fica bacana e não fica humanizado Eu fiz um vídeo só sobre isso vou deixar aqui tem gente que deixa então a o GPT responder uma uma coisa gigante e ainda coloca para responder em em Voice Studio às vezes sai um áudio de tipo 30 40 segundos Eu já vi muito isso aí pô não tem voz Studio que aguente entendeu galera vai acabar rapidinho os seus tokens de estúdio ainda mais que o o voice é menor então percebam que nesse fluxo aqui mesmo eu utilizei Voice Studio mas mais uma vez que nem o bloco GPT de forma pontual de forma estratégica gastando o mínimo de tokens possíveis aqui eu só utilizei um bloco de voice estúdio para responder o nome do Lead de uma forma bem humanizada Para ele achar que sou eu que tô respondendo tipo Obrigada Fulano como posso te ajudar hoje é só isso eu não vou é um áudio isso esse áudio aqui obrigado a n Fulano como posso te ajudar hoje é 2 segundos galera é 2 segundos de áudio então assim se você deixa o GPT responder em Voice Studio livremente com contexto ligado com isso com aquilo etc sem limitar o tamanho da da resposta do GPT meu você vai gastar aí eu nem sei quanto gastaria né então tem muita gente fala assim pô rodei 10 fluxos aqui inteiros meu acabou meus tokens do meu plano aqui sim porque não é para deixar o negócio responder livremente assim não acho que não tem negócio que vai aguentar um um atendimento assim dessa forma entendeu é legal é muito legal eu queria que fosse de graça tudo isso aqui porque aí sim a gente fica só trabalhando com inteligência artificial mas a ideia de de dessa questão dos tokens de bloco de vo estúdio GPT que tem um custo por tr como tem custo a gente tem que limitar e limitem isso utilizando estrategicamente Gente Se vocês souberem utilizar de forma pontual no fluxo de vocês vai funcionar o o custo de tokens vai ficar baixo vai ficar viável pro negócio eu sei porque eu já vejo isso em vários entendeu é só questão de saber usar pontualmente tá e bom acredito que seja basicamente isso sobre o consumo de tokens se ficou alguma dúvida alguma dúvida que de repente eu não não comentei aqui com vocês fala aqui tá no nos comentários que eu que eu tento responder para vocês vou sempre olhar aqui os comentários beleza mas é isso galera então assim eu tenho utilizado essas estratégias aqui que eu passei para vocês né de quebrar os fluxos em pedaços separados dificilmente eu vou deixar um bloco de GPT do lado do outro com base de dados cheia de coisa respondendo meu vai acabar os tokens rapidinho não tem não tem jeito e o voice Studio nem se fala galera Voice Studio é para uma brincadeirinha ali uma coisa pontual só para dar uma um negocinho pro Lead sentir um gostinho ali entendeu não deixa o GPT responder em em Voice Studio livremente que pô não tem não tem é pouco né galera você vê eu tô num plano do do Agency aqui que tem 200. 000 tokens meu isso aqui acaba rapidinho gente isso aqui vai vai voar em se eu fizer 10 10 20 fluxos inteiros aqui já vai acabar se eu ficar deixando ele responder não não tem como então é falando novamente já falei várias vezes utilizem de forma pontual galera utilizando de forma Pontual estratégica diminuindo os tokens né às vezes também sabe o que você faz eu eu já eu já utilizei isso muito eu não tenho utilizado muito agora porque eu já já tenho criado os prompts assim de uma forma que tem funcionado bem para mim não tô precisando mas às vezes eu vejo que ficou um prompt monstruoso até para colocar aqui ó esse aqui tá bem grande cara mas é que esse aqui eu precisava mesmo não tinha realmente isso aqui tá funcionando lindamente para mim tá então eu deixo dessa forma aqui mas quantas vezes eu já não peguei um prompt que realmente tav muito grande utiliza o chat GPT vai lá vai lá no site deles da openi Joga lá e pede pro próprio chat GPT na linguagem né falando que você tá trabalhando com 3.