Curadoria em Assistentes Virtuais da IBM/Watson

E aí [Música] o Olá pessoal vão Então mandar minha Talita Eu hoje vim aqui falar sobre a curadoria né e assistentes virtuais eu tenho experiência de 4 anos com assistentes virtuais já atuei aí na condução na de implantação e da sustentação de mais de 100 mortes entre o canal de texto e canal de voz e a minha experiência maior é em um opção por isso eu trouxe aqui apesar da curadoria ser mais abrangente a maior parte da do que a gente vai conversar que ele se aplica a qualquer ml mas é como a Minha experiência

é maior em Watson eu resolvi trazer aqui algumas metodologias que eu já testei no Watson e sei que super dá certo bom então vamos lá o bom é qualquer coisa projeto de implantação de uma assistente virtual e ele passa né é todo um planejamento execução testes até entre a introdução e após entrar em produção é quando o curador entra em Ação Porque por mais que a gente planegi por mais que a gente faça todos os testes e homologação tem algumas coisas que quando entram na vida real elas não se comportam como nós havíamos planejados então

a curadoria ela vai fazer esse papel de verificação é de entendimento se o que foi planejado O que foi entregue na nesse assistente virtual ele está atendendo E aí o que acontece é a curadoria com essa né com esse tipo de avaliação ela gerenciais além do treinamento da Inteligência Artificial e faz com que esse projeto ele esteja cíclico bom então ela identificou uma nova situação vai passar novamente ali alguns virão novo escopo de projeto outros são entrega as menores então a necessidade de ser efetivamente objeto mas ela vai passar por todas esses ciclos novamente tá

então é importante reforçar aqui que a curadoria ela não é importante apenas é no momento de implantação na operação supervisionada ela ela tem a sua importância ao longo do tempo e até porque o assistente virtual e ele está conversando com pessoas né EA necessidade das pessoas o mundo em que nós estamos inseridos ele muda constantemente então isso faz com que a também as necessidades e o que a gente planejou durante a o projeto ao longo do tempo venha a ter necessidade de 100 read 4 E aí antes de a gente entrar e vou trazer mais

Neve situações de métricas e métodos mas antes de nós entrarmos nessas médicas e métodos eu gostaria de de além alguns conceitos aqui né para todos nós ficarmos na mesma página Então você tem que importante como acontece o processo de classificação das intenções das frases que os usuários enviam bom Então primeiramente tem uma interação né do usuário envia uma frase ou seja por texto por voz e aí entra em Ação a parte automática da aneel que tem a ver com a interpretação né então ela busca é classificar essa intenção classificar essa frase em uma intenção já

classificada anteriormente né por ser um aprendizado supervisionado de máquina e também junto com a intenção ela nos traz um é de confiança então é uma percentual de certeza que ela tem daquela frase e entidades né que identidades podem ser palavras de vão desambiguar por exemplo uma intenção aonde o cliente solicita eu quero a senha do cartão um áudio solicita Eu preciso da senha do portal as duas a intenção a senha mas pela entidade vais e vai se entender Qual é a real necessidade desse cliente não adesão ambígua pela entidade a gente traz também alguns padrões

né consegue identificar telefone meio enfim eu vou focar mais aqui na intenção e na confiança porque nessas duas que a gente que eu consegui algumas métricas né que eu vou trazer aqui para você então importante né confiança é um score automático e ele é diferente do que a gente também vai conversar bastante aqui a assertividade tá bom passou lá o momento né da interação com o usuário tô descendo interação acontece de forma online de forma automática entra em Ação o curador que ele vai fazer uma amostragem dessas interações e também das frases né que chegaram

para Inteligência Artificial e ele vai avaliar se a inteligência artificial reconheceu de forma correta ou incorreta e também importante aqui que às vezes a necessidade de treinar mesmo quando ela reconheceu corretamente mas a confiança ainda não está adequada né ela ainda está com uma confiança muito baixa então nessas avaliações gera o percentual de assertividade Digamos que esse curador ele pegou sem frases para avaliar e Nascente frases 90 ela acertou em outras 10 o percentual de assertividade nesse caso foi de noventa porcento tá E aí vai girar os trens o treinamento né esse treinamento ele é

conjuntinho E tem também outro papel do curador tinha curadoria do atendimento aonde ele vai avaliar a frase o entendi Desculpa frase não tá o atendimento em si como que ocorreu o fluxo da conversa às vezes eu tenho uma alta assertividade Mas isso não quer dizer que eu vou ter uma alta atividade de dar interação porque se a jornada não foi construída de forma adequada ou ela precisa de algum ajuste é por mais que eu te a inteligência artificial esteja entendendo muito bem as frases ela vai ter um impacto porque a jornada não aconteceu adequadamente então

por isso a importância do curador ter as duas visões nessas métricas a gente vai é a maioria vai ser pela as frases mais algumas também vai Verde enquanto para poder curadoria de atendimento e através dessa curadoria do atendimento que seria mais longe Doria né como se fosse assim é vai em gerar melhorias da jornada e também o curador ele vai conseguir identificar muitos insights muitas oportunidades né E é isso que torna ali o processo de melhoria da jornada continuou como eu comentei anteriormente tem também um outro apesar de não ter trazido aqui mas vale reforçar

que é assertividade do a Sr tá aqui a transcrição da voz pro texto Esse é só aplicado para um diálogos de voz né Aonde a pessoa falou algo mas antes de entregar essa inteligência artificial existe a Sr que transcreve Aquela aquele texto fala em voz para um texto escrito que é dali que vai se tirar a curadoria de frases tá então existe também a cura do dia e eu não vou entrar nesse mérito nessa apresentação Então vamos lá para as métricas e métodos o primeiro deles é a matriz de confusão essa Matriz de confusão era

bem conhecida no mundo de assistentes virtuais bem disseminado né E ela nos da visão de confusão entre duas intenções por exemplo como que ela funciona É nesse quadrante no caso no na vertical na horizontal elas ficam as classificações avaliadas automaticamente né E aqui em cima ficam as avaliações ou as classificações que o curador Ele identificou para aquela frase Então mas nenhum partido Alega pagamento né de todas as frases recebidas que foram classificadas como Alega pagamento 95 delas o curador ele classificou que escutei a inteligência artificial entendeu corretamente mas tiveram algumas se ela deveria ter entendido

com uma outra intenção E aí é aonde a gente começa a ver aqui os pontos de confusão o que nos chama atenção na nesse gráfico né é desculpa né se a matriz de confusão são os quando há uma confusão muito e é com uma quantidade um pouco maior né o ou dois ali tudo bem pode acontecer né nenhuma Inteligência Artificial vai vai acertar sem por cento dos casos mas quando a gente tem algumas situações assim que a gente vê que tem uma concentração é importante avaliar o motivo dessa dessa divergência entre uma intenção e outra

o exemplo aqui desse foi com seis né a inteligência artificial quase ficou como problema financeiro e a o curador ele entendeu ali que deveria ser como quer negociar Que tipo de frase normalmente que dá essa confusão Aonde a pessoa indica essas duas intenções no meio da frase por exemplo né Aí eu estou desempregado mas é Vocês conseguem parcelar para eu pagar essa dívida um exemplo Então ela seria classe ela tem as duas edições ali dentro mas o que é mais importante que a inteligência artificial classe o caso ação que a gente pode tomar né o

cliente Sim ele está informando que está com problema financeiro Mas ele também está informando que tenham alto indicativa de que eu faço uma negociação com ele então nesses casos é importante entender esse o tipo de treinamento e tem que ser aplicado é mostrado a inteligência artificial qual é a priorização entre duas intenções tá E aí Claro entra a experiência do curadora é e como fazer esse treinamento para que ela passe quando eu tiver problemas financeiros e quer negociar que a gente preferem receber a classificação quer negociar tá aqui do lado também ficam percentual de assertividade

daí numa visão do automático né de cada a intenção e aqui embaixo na visão do da classificação manual E aí em cima disso a gente pode fazer um outro tipo de análise quando eu coloco lado a lado traga pagamento aqui e o percentual de fertilidade que gerou do automático que veio daqui e para o do outro lado Qual foi o percentual de atividade com a visão da classificação do curador quando a gente vê as duas lado a lado aqui é ótimo quando as duas estão verdinhos quando elas estão percentual de ser atividade alta e sinal

que essa intenção Ela Está Madura mas é aí a gente tem dois pontos que nós podemos observar quando na automática ela deu uma atividade alta mas na manual elas ficou com mais assertividade baixa é porque essa intenção ela está fraca ela está tendo evasão para as outras outras outras intenções estão invadindo né O que deveria ter sido classificado com aquela intenção foi classificado como uma outra sinal que ela está fraca então precisar reforçar o treinamento dessa intenção colocando mais Evidências e ali o maior poder de entendimento a inteligência artificial do que é aquela intenção que

tem o outro lado também quando no automático ele avalia com o percentual de assertividade ele está muito baixo mas na manual ele está muito alta é porque a agressividade dessa intenção ela está muito alta ela está Ela mesmo está invadindo outras intenções então é necessário uma limpeza nessa intenção porque ela está poluída tá então é uma outra forma de avaliação aí da Matriz da Matriz de confusão falhando força e fraqueza na outra forma bem interessante que o curador ele pode adotar para conseguir entender como está sendo o assistente virtual né porque eu vejo assim algumas

vezes que o papel do curador e fica benção né ou mesmo quando é senta na cadeira de curador e ele ainda vai adquirir a experiência imagina-se que é sempre uma variação unitária né vai avaliar as frases ele de forma amostral ele vai avaliar atendimentos mas é importante que ele tenha também essa visão do geral né ele consiga ter indicadores no geral que vão dar a ele uma ação mais rápida na tomada de decisão Então nesse caso né a quando coloca seu percentual de confiança Geral do assistente virtual consegue-se ter uma visão Mas aqui é importante

reforçar que para você conseguir ter uma conclusão de que se a Confiança está alta é porque o assistente virtual Está acertando é sinal que ele já está maduro tá Pois é quando o o treinamento dessa Inteligência Artificial Está Madura há uma correlação muito alta entre o percentual de E aí aparece um tal de assertividade se ele ainda estiver né for um treinamento ainda embrionário que quando você coloca lado a lado para você pode confiança percentual das intenções da assertividade das intenções você vê que tem muita discrepância ainda não é o momento de fazer esse tipo

de análise tá bom então aqui são caso real nós temos um assistente virtual que ele ficava sempre média ele 93/94 por cento de confiança tá e de um dia para o outro ele caiu para 85 porcento né aqui Claro partir de carro pandemia quando foi anunciado o fechamento do Comércio Então as pessoas começaram a conversar de uma de uma outra forma né é um assistente virtual a gente teve também a migração de um público que não estava acostumado com digital então a forma como essas pessoas se comunicavam fez com que o nosso sente virtual tivesse

aí uma baixa uma queda muito brusca no percentual de confiança e também as menções a própria pandemia né então o curador como a gente avaliava diariamente isso né o curador rapidamente entendeu com essas frases que estavam entrando que é aí a não estava conseguindo resolver e passou a treinar I no dia seguinte já estava e noventa porcento ainda não tinha recuperado né ver que nos próximos quatro dias foi dada a gente foi dando treinamento ainda não recuperou o percentual anterior Mas ela já teve aí uma forte recuperação é uma outra forma também é que o

curador consegue avaliar está tendo algum problema no assistente virtual é o percentual de distribuição das intenções ou o quanto às intenções estão participando no volume Total claro que aqui eu peguei poucas intenções opção tem seis né um assistente virtual normalmente ele tem muito mais que isso mas é só para exemplificar para vocês e foi um caso real também né Nós temos uma média aí de um por cento da intenção de dúvida de pagamento e justamente quando nós tiramos aquela queda da na confiança né das refeições também a gente viu algumas mudanças no cenário que das

intenções Então antes um por cento um dia depois da comunicação do fechamento do Comércio a intenção dúvida de pagamento passou a ter uma participação de Seis por cento de todas as intenções e conhecidos naquele assistente virtual é claro nós vamos entender né avaliar o corredor foi avaliar Que tipo de frase que começou a a entrar que teve esse aumento né a resposta que nós dávamos preste assistente virtual dessa intenção ela estava adequado essa nova demanda e nós vemos que não em alguns contratantes na realidade não e outros sente qual a diferença que a gente percebeu

é quando olhar um por cento a maior parte da dúvida de pagamento era onde eu posso pagar e aqui a teve uma mudança tá como eu posso pagar pela internet né então a dúvida do Inter duas do Internet Banking e a gente vê o reflexo aqui então de uma de um novo público vindo para o digital e precisando dessa orientação acidente virtual então para alguns contratantes a gente viu a necessidade de fazer alteração da jornada porque a frase o que era nada não respondi a essa dúvida e algumas vezes até nesses aumentes nessas mudanças é

também enfrentam problemas internos não tem alguns exemplos arquivos fazer um só para não estender muito que nós observamos um a intenção problema de pagamento também aumentar drasticamente um dia e aí nós fomos né até esse contratante para entender o que estava acontecendo e também avaliando o feedback dos clientes as mensagens de usuários enviavam a gente percebia que era algum problema na hora de se efetuar o pagamento do banco não estava aceitando aquele código de base quando a gente vai conversar com o contratante eles estavam com problema em um processo interno para geração do código de

barra né E e aí por isso refletiu né os clientes não estavam conseguindo fazer esse pagamento e tenho n outros exemplos aqui tá gente de algumas vezes inclusive através desse filho o doce em foi identificado o problema em processos internos que ainda não havia sido percebido né E aí através das and virtual dessa desse acompanhamento de alho ali online foi possível a identificação e um processo interno que estava correndo lá no nosso contratante é uma outra forma que é esse tem mais a ver com o regionalismo e ele é muito mais aplicado na voz tá

porque a voz devido ao sotaque a forma como as pessoas falam algumas regiões falam muito rápidas então é a um impacto né do da do entendimento do Sr e consequentemente do entendimento da afetividade e da confiança então é muito importante por mais que seja texto também fazer essa avaliação né seja ela por regiões do país ou é separado por estados mesmo aonde você consegue identificar se alguma região está precisando de alguma de algum treinamento específico tá e o curador é muito importante de fique ligado nas notícias no que está acontecendo e impactos internos influenciam muito

né alguns exemplos de o que fizeram com que a gente precisasse treinar a rapidamente né além da pandemia Claro mudou o mundo né não teria como não ter um impacto ali na forma como as pessoas se comunicavam mas outras né como exemplo que citam um [Música] candidato à presidência aonde ele prometeu que se ele fosse eleito ele limparia o nome de todas as pessoas ficavam negativados Então se imagina o que aconteceu com acidente de tal de cobrança ele passou a receber frases como eu vou botar no plano né então eram frases que ela não estava

ainda tem nada para entender o que era ele a gente precisou entrar com treinamento muito rápido outros exemplos do greve de caminhoneiros da criação do PIS né são vários fatores externos que influenciam Eu lembro quando te vi né acidente em Brumadinho Nós também avaliamos estava aqui é um problema naquela região né o entendimento no próprio país as pessoas comentando sobre Brumadinho nesse momento não não teve a gente não teve se Impacto mas é importante que o curador ele tem essa curiosidade eles sejam antenado no que está acontecendo para entender esse tá tendo reflexo no acidente

virtual tá e o outro ponto aqui que é bem importante um curador tem em mente análise de abandono né o objetivo de toda assistente virtual é reter o cliente conseguir atender esse cliente né de forma automática então eu trouxe aqui análise de abandono mas é importante também por exemplo análise de transbordo né e pontos e transbordando será que eu consigo automatizar os ser mais efetivo durante o atendimento automático para evitar que o cliente vai até humano mas enfim é ter esse escape também para humano é algo muito benéfico muito importante porque o objetivo é atender

a necessidade desses usuários que estão conversando mas vamos lá para análise de abandono bom aqui eu trouxe né um pequeno uma pequena imagem ali numa parte do fluxo de atendimento que é desenhado a minha jornada de atendimento EA importante de Cada nó e eles e bumbum como se fosse um carimbo tá então digamos a pessoa passou por e Sinópolis e ponto da jornada ele vai receber um carinho lá n-001 no outro ponto ele vai receber o carimbo n 02 e assim por diante E aí o que que a gente consegue mapear através desse dessa carimbada

né é quantas vezes aquele não foi visitado né então aqui nesse caso ele foi visitado 1423 vezes não no período analisado mas em quantas vezes ele foi o último na visitado quer dizer o abandono ocorreu ali é importante aqui gente Claro quando é um ponto de finalização ele não vai estar nessa nesse nesse mapeamento né são só pontos que teriam ali uma continuidade do Diálogo mas o cliente ele parou naquele. Tá então ok 321 TV já passaram por esse ponto não deu sequência no atendimento e abandonaram ali então eu tenho 26 por cento de abandono

desse ponto específico do atendimento e aqui a visão horizontal me mostra né o quanto esse esse ponto específico está sendo está me trazendo um retorno engajamento e no vertical eu consigo ter uma visão do total né de todo o abandono do meu assistente virtual 46 por cento está nesse ponto ou eu preciso analisar eu preciso entender se eu posso mudar algo na frase que vai gerar um maior engajamento ou se o que eu estou apresentando aqui talvez não é suficiente que o cliente não tá gerando interesse nesse cliente em continuar então é importante aqui né

Essa visão Ela te dá uma ordem de grandeza né você vai conseguir o causa esforços aonde realmente vai te trazer se você resultados mais rápidos e claro também para refinamentos Nem sempre o objetivo é o resultado mais rápido mas tornar e eficiente assistente virtual um exemplo aqui né também da desse último ele foi visitado cinco vezes e nas cinco vezes ele teve abandono então abandona está em cem porcento eles só contribui com um por cento do abandono geral Mas será que vale a pena um deles. Eu tô causando alguns dias algum desgaste nesse trem sempre

estão abandonando ali eu tô tendo o curso e não tô tendo retorno então essa visão horizontal e vertical com análise do abandono ela é importante né para você ter esse indicador tá Tá bom então sai forçando a visão horizontal ela indica a retenção naquele ponto específico e a visão vertical ela mostra é o impacto daquele abandono sobre o geral aí na na jornada do usuário Esse é um outro indicador com feijão Trigger que é bem importante também é conhecido como id-card a Snow sim mas mais conhecido como confio antiga ele te mostra os pontos de

não entendimento do assistente virtual então assim como no ponto anterior ali o comentei voltar aqui um pouquinho nesse fluxo aqui da jornada nós temos o mapeamento do como se fosse um carimbo né uma nomeação de Cada nó é importante também que nos pontos Aonde a confusão aonde a gente acaba usando aquele aquelas mensagens né Desculpa não entendi enfim ela não tá preparada naquele ponto é também tem uma marcação então Digamos que aqui sejam pode ser com fingir antiga eu vou carimbar' todo mundo que passar por aqui que eu faço Desculpa não entendi vai ser carimbado

E aí Através disso eu consigo ter a minha taxa de confissão antiga né a caixa de confusão do meu assistente virtual e por ter essas duas tanto um mapeamento a nomeação de cada de Cada nó você também consegue descer um nível a avaliar Qual é o ponto que está sendo mais gritante por exemplo né que está impactando mais essa jornada e aí você começa a mergulhar a entender Qual a mensagem para o cliente me enviou para ele ter caído nessa confusão que ele caído nesse ponto algumas vezes é realmente o treinamento da intenção que não

está adequado mas outras vezes aí a ela está entendendo a intenção do cliente ela está bem treinada mas naquele ponto específico a jornada não está levando em consideração aquela intenção então o curador ele vai ter que fazer essa análise tá eu preciso dar um treinamento para de frases não treinamento da de intenções ou nesse ponto aqui eu preciso melhorar a minha jornada colocar essa intenção para ser tratada para ter uma resposta adequada então tem essas duas visões tá ela pode não estar na piada além do a inteligência artificial a e por último eu trouxe aqui

uma metodologia que eu queria hein E aí eu usei da meu nome para ela gráfico gaste né o gaste indicaria o gráfico para análise do status do treinamento e através desse gráfico O que que tá separado por quadrantes fica muito claro a forma que eu preciso treinar a i.a. a forma como eu preciso treinar cada intenção então no eixo Y aqui eu vou ter o percentual de assertividade e no eixo X o percentual de confiança Deixa eu voltar um pracinha aqui só para ela não ter aí Confusão Para a gente entender como chegar nesses percentuais

né então Digamos que eu separei lá mil frases para o seu curador separei mil frases trabalhar então todas essas frases tenho percentual de confiança que foi entendido que lembrem Esse é o Esquadrão automático dado pela Inteligência Artificial E aí do ladinho vou colocar lá acertou não acertou índia né todas as frases ao final é você agrupa as intenções e coloca média de de confiança de todas as intenção né de todas as frases e faz o cálculo do percentual dessa atividade que teve daquela a intenção tá E aí baseado então nessa média de confiança e nesse

percentual de assertividade é onde a intenção vai se enquadrar então digamos aqui que eu tenho o alegra pagamento estava super bem treinado naquele centro que a gente viu lá da Matriz de confusão ele estaria enquadrado aqui mais ou menos nela 91 por cento de assertividade e próximo de 90 por cento de confiança então é baseado nisso você consegue ver aonde a tua intenção está caindo esse aqui ele está ainda bem disperso eu não estava maduro aí Aqui também dá para visualizar a gente quanto mais maduras atividade quanto mais madura esse treinamento de tiver aquela correlação

que eu comentei entre confiança e assertividade tá ele vai se aproximando desse ponto superior aqui tinha altas e atividade EA alta confiança então quanto mais é direito superior a sua intenção cair mais madura ela vai estar E aí tipo então de curadoria de Treinamento precisa ser dar para esses casos Aonde é a intenção caiu nesse quadrante que a assertividade já está muito boa mas a Confiança está baixa é sinal que eu preciso incluir mais evidências tá para que essa intenção para que a guiar ela fique mais certa dessa tomada de decisão é como se a

gente fala assim legal aí a você está no caminho certo eu vou te os exemplos para que você fique mais confiante de que realmente esse é o caminho a seguir tá então intenções classificadas nesse quadrante ar devem receber mais evidências para aumentar a confiança nesse outro aqui que é ele está ainda com baixa assertividade e ele está com uma baixa confiança o que que acontece normalmente as intenções classificadas nesse quadrante elas não estão ainda com um padrão definido aí a não está conseguindo entender Qual é o padrão daquela intenção daquelas evidências então é esse ponto

essas intenções avaliem se é a como segrega las tá o exemplo aqui elas tinham uma intenção chamada detalhar que é sinal que a pessoa estava solicitando algum tipo de detalhamento Então nesse caso da intenção de detalhamento nós precisamos segregar ali Qual o valor na intenção Qual o valor uma é qual é qual a data de pagamento e com isso ela conseguiu passar a entender essas intenções do outro lado as intenções foram classificadas como abaixo e assertividade mas com a alta confiança esse é o perigo tá gente porque a intenção ela está errando muito mas ela

tá tendo certeza que aquela invenção então dá onde ela ela tira essa conclusão né com mal da confiança dos exemplos que já foram gravados das evidências de já foram colocadas tá Então nesse caso vermelho precisa ter uma higienização e o verde legal melhorar né e manter então recapitulando aqui as infecções que caíram na na no item Amarelo precisa ser colocado mais evidências no laranjado a possibilidade de segregação dessa intenção não vermelho hifenização medi aqui visitar lá o que já foi treinado e não verde manterem Ah tá bom gente aqui o trouxe alguns exemplos um exemplo

né da evolução então a gente vê aí a mudança no comportamento e acima das métricas né ter um time comprometido e engajado a extremamente importante então não podia deixar de agradecer a iam ao time que eu tive o privilégio de liderar nos últimos anos muito obrigada e beijo para vocês alguns estão aqui assistindo me apoiando valeu e se alguma coisa que eu coloquei aqui né ficou em dúvida depois vai ter aliar o momento de perguntas e respostas mas também fico à disposição meu e-mail e aqui alguém ficou de do meu LinkedIn Muito obrigado a Gente

desculpa por ter estourado o tempo