Preparei um estudo de caso independente para te mostrar como que os testes de usabilidade podem ser aplicados aqui no unibenc e eu escolhi esse Case do nubank a dedo a dedo porque fazer o rede design de aplicativos conhecidos sempre a criticado por profissionais mais estrelinhas mas o donos da verdade né olha quem é você para achar que você vai conseguir melhorar um aplicativo tão conhecido sempre rola isso né gente mais experiente criticando mais iniciantes esquece que já foram iniciantes um dia mas de uma certa forma Eles Têm razão também não de criticar mas de dizer que por exemplo muita gente olha para esse aplicativo aqui e já vem tomando um monte de decisão né não gostei dessa cor Vou deixar tudo Dark White porque eu não gosto de branco vou deixar pretão esse menu aqui eu não gosto eu já vou mudar vou fazer uma animação aqui cara sai tomando um monte de decisão sem fundamento nenhum sem considerar restrição de negócio e vai lá e coloca no portfólio isso não resolve né não resolve para você crescer na carreira parece que eu tô brincando aqui com a situação hipotética mas as pessoas que fazem esse tipo de design que ainda não conhecem formas melhores de fazer esse trabalho são essas mesmas pessoas que vão acabar falando que não tem tempo para pesquisa que trabalha exatamente desse jeito aquele modo né Eu acho que vai ficar melhor assim eu acho com base na minha experiência vai dar bom só que não dá só que muitas vezes não dá se você quiser trabalhar sem profissionalismo tratar sua carreira como loteria Eu já falei vai na Caixa Econômica mais perto de você tenta a sorte na raspadinha agora eu desenterrei a Raspadinha né Eu lembro quando era criança ficava raspando a unha ficava toda Preto usava uma moedinha aqui então deixa eu arregaçar as mangas deixa eu abrir logo aqui o plano de testes habilidade que eu tô ansioso para mostrar aqui o que eu preparei para vocês vamos lá Opa agora que eu tô lento aqui da Matrix eu vou poder te mostrar como que a gente pode destrinchar um teste de usabilidade e eu vou saber sincero com você se eu não conseguir te convencer nesse teste de que testes com usuários que pesquisas com usuários é importante que te ajuda a tomar decisões melhores mesmo que você não tenha Dom artístico que você não acredite que nasceu criativo Eu acho que eu não consigo te convencer mais esse foi um teste que foi realizado em um dia então eu peguei basicamente um domingo apliquei uma série de técnicas para fazer uma proposta de solução se eu Leandro pode melhorar o aplicativo do unibenc o nosso cartão de crédito mitológico como que eu faria Beleza então primeira coisa seria entender de fato o que as pessoas têm mais dificuldade ali dentro então para Inovar você não precisa necessariamente ter uma grande ideia brilhante que ninguém nunca teve basta você analisar como as pessoas fazem as coisas hoje e propor uma solução melhor né então como é que foi assim o meu planejamento para organizar esse teste de estabilidade Deixa eu te mostrar aqui primeiro aqui dentro dos meus planejamentos a primeira coisa que eu fiz eu fui lá analisar no Google Play como que tavam os comentários para ver se tinha alguma reclamação se tinha algum problema específico depois eu fiz algumas perguntas no Instagram para tentar entender que tipo de dificuldade as pessoas tinham com esse aplicativo do unibank E aí eu cheguei a conclusão de que tinha algumas oportunidades ali para melhorar né meu objetivo principal era identificar os problemas de usabilidade do aplicativo e acabei chegando em alguns problemas específicos que tinham relação com encontrar fatura e encontrar o cartão virtual então basicamente aqui eu trouxe um objetivo geral um objetivo específico para minha pesquisa uma vez que eu tinha feito essa primeira triagem rápida que a gente chama aquela análise rápida com os dados que você tem disponível para planejar o meu teste depois então primeira etapa analisar erros frequentes em lojas de aplicativos segundo fazer uma pergunta lá no service desce quando call center entender Quais são as principais reclamações no caso eu perguntei lá pelo próprio Instagram mesmo e aí eu fui para as terceiras quartas e Quintas etapas aqui que é realizar um teste quantitativo para a gente entender o que que tá errado pra gente fazer um teste qualitativo entender porque que tá errado mas agora com foco e Por que que as pessoas será que elas não estão encontrando as suas faturas né e tinha um requisito importante eu não queria que as pessoas fossem usuárias do unibec porque ela já estariam mais acostumadas a encontrar essa informação então eu fiz uma triagem eu só conversei com pessoas eu não falei que essa triagem existiria né porque senão as pessoas poderiam burlar para conversar comigo então no meu formulário lá de screen que a gente chama na triagem que eu fiz eu tava perguntando Olha você é cliente de quais bancos aí a pessoa fala olha só cliente do unibank ou cliente desse x e y z só as pessoas que não marcaram que era clientes do unibec que eu chamei para conversar elas não sabiam que estavam sendo criadas dessa forma é importante você esconder essas perguntas mas enfim papo para a gente falar sobre recrutamento né então a gente vai ter um modo que a gente vai falar bastante sobre recrutamento sobre tamanhos de amostras que a gente precisa ter para ter uma análise estatisticamente significativa beleza relevante então isso são assuntos mais aprofundados mas fiz isso daqui para a gente poder trazer o usuários com perfil mais adequado com que a gente quer e separei aqui os participantes né testei com quatro pessoas de forma qualitativa foram mais de 150 pessoas participando do teste quantitativo também eu vou mostrar para vocês aqui com mais detalhes o resultado desse teste só tô te mostrando que um bom planejamento ajuda a gente a dar os próximos passos com mais facilidade né então preparei Olha é isso aqui que eu vou fazer eu vou seguir essa estratégia dentro de um dia eu consegui resolver e trazer a proposta que é o que eu vou mostrar para vocês separando bem e fiz isso daqui Beleza então não é nada muito mirabolante que vai tomar aquele tempo absurdo de pesquisa para começar a pensar e como ajudar a evoluir o produto não precisa disso tudo depende Claro do desafio que você está seguindo mas tem forma simples de você fazer também vamos direto aos insights beleza vamos direto aos insights aqui que é o que eu quero mais mostrar para vocês então trouxe aqui o site de uma forma que fosse fácil para as pessoas que querem entender mais sobre esse assunto possam entender também então no mundo real você vai ter vários insights o mundo de informações Se você não souber organizar essas informações elas vão se perder ninguém vai utilizar seu aprendizado não vai se transformar em produto você não vai atingir o objetivo que você tá querendo atingir com as suas pesquisas com usuários né que é criar produtos melhores Então a primeira coisa trouxe um título aqui com clareza Olha é difícil encontrar o detalhamento das faturas então como eu posso ajudar o usuário a melhorar isso né então vamos lá olha posso repetir essa reclamações entendemos que os usuários não conseguem encontrar informações das suas faturas em alguns relatos seguem abaixo eu tô usando um software aqui que me ajuda a fazer o Code em que a gente chama né que é codificar as informações de pesquisas de uma forma que eu consigo encontrar facilmente depois então eu tenho 20 evidências aqui claramente definidas de problemas para encontrar as faturas então aqui olha você vê que eu tenho um conjunto de vídeos olha do Eduardo vídeos aqui não só do Eduardo mais da Cissa vídeos do vídeos do Gabriel que obviamente ao pedir autorização para trazer aqui para vocês agora a gente tem que respeitar a lgpd que existem leis de privacidade que você só pode entrevistar a pessoa sobre determinadas condições só pode utilizar o áudio e vídeo dela sobre determinadas condições coisas que a gente vai trazer no ambiente também preocupações mais profissionais para você né Eu também tenho aqui olha várias evidências olha exatas frases das pessoas que elas falaram olha aqui olha só por exemplo trazer um exemplo do Gabriel aqui ó certo um mês que eu comprei eu vou procurar em cartão de crédito a fatura imagina que vai aparecer por aqui não não é isso Olha o supermercado É esse aqui não não é isso não ó pagamento recebido não é isso e ele ficava perdido e se eu for olhar antes mesmo do teste de estabilidade aquela parte que eu falei que eu fui na loja de aplicativos né se eu clicar aqui por exemplo eu vejo Quais foram os comentários das lojas de aplicativos Olha eu fui lá na loja de aplicativo trouxe aqui as evidências se eu for aqui por exemplo nas reclamações do chat que eu peguei lá no Instagram Olha tem aqui todas as evidências então eu consigo ver olha só é difícil ó todos que estão relacionadas a encontrar a fatura né acha difícil encontrar da fatura dou voltas Para chata então todos aqui deixei as evidências né olha mil cliques para chegar na fatura Olha lá a fatura fica escondida no meio de trocentas outras opções Então dentro dessa amostra aqui recebemos algumas evidências aqui de que encontrar faturar algo importante e tá tudo organizadinho quando eu clico em contra a fatura tá tudo aqui olha mil cliques para chegar na fatura do mês lembra então ele pega exatamente o trecho daqueles pontos lá que você tá analisando e pega os vídeos também antes de te mostrar o teste de os habilidade eu vou te mostrar qual que era o caminho que a gente esperava que o usuário fizesse Beleza vou abrir aqui o filme E aparentemente quando você navega do aplicativo você vai ver que aparentemente não tem problema nenhum aqui né Então olha só se eu for rolar a tela aqui como é que eu encontro uma fatura eu vou rolar a tela cartão de crédito cara óbvio né tem uma setinha aqui cartão de crédito eu vou clicar nessa setinha E aí eu venho para segunda tela e tá lá minha fatura atual isso eu quero ver as minhas faturas eu vou clicar aqui em resumo da fatura tem como ser mais óbvio que isso resumo da fatura cara é lógico né resumo da fatura e eu consigo ver as minhas faturas cara Janeiro se eu quiser mudar para Dezembro tá aqui se eu quiser mudar para novembro tá aqui cara muito Óbvio olha só a gente fez rapidinho aqui um protótipozinho para simular como que seria isso mas é óbvio né que que tem para melhorar aqui como que você melhorar E essa tela meu caro por que que será que as pessoas estão reclamando da fatura sendo que é só vim clicar em cartão de crédito resumo da fatura e morreu o assunto cara é óbvio é óbvio como que eu consigo melhorar isso como que eu consigo ajudar essas pessoas que estão reclamando a encontrar essa fatura mais facilmente para isso eu preciso entender onde que elas estão errando concorda Não adianta eu querer fazer por mim porque para mim tá Óbvio para mim Leandro design se alguém me pediu opinião nessa tela eu vou falar cara essa tela tá bonitinha né cara que tela legal ó você é paradinho menu aqui tranquilo de usar cartão está aqui sussa né não vejo problema algum só que as pessoas estão reclamando galera as pessoas estão reclamando e é muita reclamação Olha só vou ler de novo algumas olha as últimas deixavam a fatura aberta tá bem menos visível agora o novo design do app tá horrível eu não consigo achar o quanto tempo pagar no cartão de crédito na fatura dos outros meses Cadê a fatura do meu cartão onde é que tá o problema gente não tem um botão que vai direto para fatura do cartão mas tem tá lá viu o valor que as faturas seguintes tem as pessoas não estão encontrando né como eu mostrei para vocês e vamos tentar entender vamos ver aqui então um vídeo de como uma pessoa realmente está usando aí o que que eu falei para ela eu dei uma tarefa para ela e falei olha eu quero que você encontre qual foi a última compra que você fez nas lojas mesba as lojas até integra entrega a idade né mas foi a pergunta que eu fiz lá a tarefa que eu dei no teste de suas habilidade depois eu vou falar mais sobre isso como criar perguntas que sejam boas para realmente não envie as usuário e para ajudar você realmente ter os aprendizados Se você quer a tarefa que eu dei para ele foi em que mês você realizou a sua última compra nas lojas nesla com seu cartão de crédito e aí tem vários cuidados né para você falar para o usuário que você fala aqui olha Vai pensando alto para conseguir observar não é você que está sendo testado você tem que deixar ele confortável né não tem certo ou errado para ele poder agir naturalmente Então existe um scriptzinho se você quiser padronizar você pode eu ensino isso para os alunos vamos detalhar isso muito mais no e-mail também isso é sobre profissionalizar o uso de uma técnica beleza teste de estabilidade na sua pega e fala ó usa aí e me fala o que que você achou tem muita gente faz assim né Pega o aplicativo fala aí usuário Me diz você gostou você ia comprar esse aplicativo a pessoa é bonito né Eu compraria vamos ver como o Eduardo vai achar a fatura dele beleza meu cartão de crédito seria sim eu venho resumo da fatura pagar a fatura não tá na Olha só olha só ele precisava encontrar a última compra nas lojas Mesbla repetiu o nome do botão resumo da fatura e achou que não era lá olha aí como que o x right é importante você escolher as palavras certas é importante para ele não tava lá vamos continuar vendo Então eu tenho que localizar Quando foi a última vez que eu fiz a sua conta quase queimou hein quase queimou foi lá quase clicou e saiu olha se eu não tenho aqui opção busca alguma coisa nesse sentido eu iria na fatura do cartão mesmo e tentaria localizar que a fatura do cartão pelo Olha vou voltar ele arrastou para o lado a tela e aqui tem olha fatura atual ele poderia clicar aqui para chegar na fatura também ele não viu estou para um lado para o outro não viu resumo da fatura no caso ele já tá me dando o resumo da fatura aqui embaixo Olha a confusão de novo a gente um botão para resumo da fatura mas ele achou o resumo da fatura já tava ali embaixo se tivesse sido nesse mês estaria aqui provavelmente ajustar limite meus cartões indicar amigo Pagar boleto bom aqui eu não tô vendo possibilidade de buscar os outros meses né tipo Navegar aqui Aqui estamos falando janeiro mas eu queria ver outros meses não tô conseguindo olha só ele queria ver outros meses aí você começa a entender as palavras que as pessoas estão usando né então só tá lá tá resumo das faturas Será que se não tivesse resumo de outros meses ou outros meses faturas de outros meses falando de solução não é um momento de falar de solução Mas é só para você ver como que é uma palavrinha poderia ter dado um gancho aqui para ele entrar né bom deixa eu ver de outra forma então meus cartões empréstimo investimento seguro e vou acelerar um pouquinho consultar saldo para transferência não empréstimos até que por tentativa erros aqui eu consigo do dos meses nem resumo das faturas que o que aparece essa parte dos meses talvez Bom enfim então aqui em janeiro eu sei que eu não comprei é a última vez foi em dezembro quando encontrar loja mesmo Brick Cadê pronto então percebe olha só ele conseguiu chegar lá depois de várias tentativas e erros teve confusão vamos ver uma outra para a gente ver se porque a gente não pode ter confiança em usuário né tem que ver se isso se repete se existe algum tipo de padrão aqui então vamos pegar aqui uma outra vamos pegar como é que assista encontrou a mesma tarefa encontrar lojas mesmo Qual foi a última compra no cartão [Música] ela entrou em meus cartões entrou em um caminho diferente agora acho que eu tenho que entrar no cartão para ver as minhas contas Olha só o caminho mais Óbvio aqui para ela foi entrar em meus cartões se confundiu entre cartões de crédito entrou em meus cartões e chegou lá no beco sem saída e não conseguiu achar informação teve que voltar para página inicial de novo eu tenho que encontrar uma compra clique nela para finalizar o teste uma compra resumo das faturas Não esse aqui tá mais difícil Olha ela chegou quase percebo olha só ela chegou lá no mês de janeiro só que clicou na setinha para voltar e saiu não viu as faturas anteriores olha pode ou não pode estar relacionado ao problema das pessoas não encontrarem as faturas pode também na descrição da tarefa e dá uma lida lá de novo a gente pode te ajudar aqui eu dei uma dica para ela mas não é para ajudar ela acertar beleza só para ajudar ela sai de um ponto que ela tava com problema mas eu já vi que ela teve um problema por mais que eu tenha dado essa dica para ela reler a tarefa de novo agora tô envezando ela vai encontrar mais facilmente eu já sei que ela falhou na tarefa tá ela não conseguiu encontrar fatura talvez se precisasse mesmo ela já ia entrar no chat ia reclamar lá eu não consigo achar me ajuda as pessoas não tentam por tanto tempo ela tá tentando agoniada porque tá no teste de usabilidade com a gente mas provavelmente no mundo real ela teria tentado desistir ia ficar insatisfeita mais experiências Marisa pronto achou a mesma e se você for olhar outros testes Olha eu fiz quatro testes Olha o outro aqui mesma tarefa com Luan ele já foi direto no cartão de crédito fui direto no resumo da fatura bateu na fatura do mês só que olha na hora de voltar ao invés de clicar em dezembro ele se confundiu com a setinha para voltar para outra tela ao invés de clicar ali no mês Olha só te vejo a setinha dessa noção de que ele tá voltando no mês né não dá para eu dizer que é isso mas é uma suposição [Música] tanto que ele tá tentando voltar de mês só que agora ele foi lá em dezembro e achou a informação ele achou mais fácil Olha só o Gabriel como ele fez um mês que eu comprei eu vou procurar em um cartão de crédito minha fatura imagina que vai aparecer por aqui no mesmo Supermercado é esse Ah não pagamento restrito para ver se era isso não bom eu ia procurar aqui onde que tá o pagamento e a palavra que ele usou agora pagamento [Música] aqui mas eu não lembro onde é que eu vou procurar resumo da fatura cliquei no mês lojas achei Beleza então por aqui dá para você perceber como que observando o usuário dá para ver como não tá Óbvio você consegue perceber isso é claro que eu peguei uma amostra pequena de repente no mundo de pessoas que utilizam o software do unibenc a maioria das pessoas estão conseguindo encontrar Mas de repente eu consigo facilitar isso para algum conjunto de pessoas de repente Esse estudo de que fatura é a melhor palavra já foi feito não vai funcionar com 100% das pessoas mas pode estar funcionando com a maioria né então você tem que sempre buscar essa otimização isso tudo são restrições de negócio como eu falei que eu não posso tomar decisão e falar olha une bem que é assim que você tem que corrigir porque eu não sei o que está se passando lá com a equipe mas uma rápida conversa com a equipe com o gerentes com o time eu poderia ver galera você Já pensaram nisso já então beleza morreu assunto não pensamos nisso então vamos tentar otimizar né a conversa que acontece dentro do time de design para não ser prescritivo e dizer que isso aqui vai ser a única forma de resolver o problema mas tá claro ali que com pessoas essa mostra que eu tenho encontrar fatura não foi algo fácil beleza não foi algo fácil vou voltar aqui nos meus insights vou voltar aqui nos meus ensaios que a gente estava conversando e eu vou pegar os principais resumos aqui então eu resumi para quem não não quiser ver o vídeo não precisa ver eu trouxe um resuminho olha erros comuns aqui do teste de usabilidade qualitativo moderado que a gente foi acompanhando o usuário Olha o Gabriel tentou encontrar as faturas na lista de compras e não encontrou o Gabriel tentou clicar no card no topo da tela e não aconteceu nada quando ele tentou clicar nesse Card aqui ó vou voltar lá no figma ele tentou clicar aqui ó em meus cartões de crédito porque esse aqui é um card eu posso clicar e eu entrei quando viu as faturas aqui ele tentou clicar aqui ó e não conseguiu clicar não funcionou hoje no aplicativo ele não permite clicar então eu ensinei para o usuário que Card é clicável e chegou aqui Card não é clicável mas pode ter uma inconsistência aqui beleza Ainda tentando entender o problema tá tentando entender o problema Gabriel arrastou o card para a direita e mesmo com a setinha não clicou para ver fatura de novo gastou para direita e mesmo com essa setinha aqui ele não clicou para ver a fatura vamos ver o que mais Olha o menu com o resumo da fatura foi o terceiro local que ele tentou clicar e só então finalizou vê que eu não tô falando ainda da solução eu não falei o que que tem que ser feito para resolver o problema eu tô trazendo o problema claramente depois eu posso passar pela etapa de ideação com a minha equipe essa fase de entender o problema lembra que eu falei na aula de ontem que tem uma etapa que é para você entender o problema uma etapa para pensar na solução aqui está entendendo o problema profissional de reset vai ajudar a trazer identificar os problemas beleza Luan se confundiu com a seta olha para voltar para o mês anterior e a recomendação é mudar para um ícone que não confunde Então nesse caso aqui eu já trouxe a recomendação Na verdade eu nem deveria ter falado de solução aqui falha minha você vê a gente a gente realmente tem essa impulsividade de já falar de solução direto né mas o certo é você trazer aqui só problema recomendação era para falar lá embaixo tá aqui ó já pagaria aqui nós se confundiu com a seta para voltar para o mês anterior assista entrou em meus cartões buscando a fatura e não encontrou vocês viram o vídeo aqui Eduardo teve dificuldade para achar a fatura do mês né Então tá aqui o vídeo dele eu consigo ver esses vídeos aqui e consigo ver outros insights então aqui tinha todos aqueles insights das reclamações mais quantitativa né vocês se lembram e aqui eu trouxe mais Qualy para que os stakeholder pro time de design veja Quais são os problemas realmente que a gente tava passando e a gente vem para a próxima parte Olha eu trouxe insights de usabilidade quantitativos também que fomos testes não moderados que eu soltei o link e falei olha quero que vocês realizem essa tarefa então o pessoal receber uma tarefa lá do mês que é esse mesmo software que essas pessoas estavam utilizando só que eu tava observando elas usarem agora não tô observando mais foi não moderado eu fui pegar análise quantitativas ao final do teste eu fiz essa pergunta no geral quão fácil ou quão difícil você só achou essa tarefa essa é uma pergunta comum que a gente chama de saque que eu single Easy question e a pessoa basicamente responde com fácil ou difícil é ela achou essa tarefa e você vai ter nota 1 para muito difícil ou nota 7 para muito fácil e foi assim que as pessoas olha com 17 respostas até esse momento a gente tinha essa média uma média de 4. 4 mas o quanto eu posso confiar nessa média Aí vem uma análise estatística que também pouca gente faz então joguei no softwarezinho de estatístico olha com amostra de 17 a nossa média estava em 4. 41 com intervalo de confiança de 95% é o quanto eu posso acreditar nesse resultado o meu resultado da minha nota mesmo tá em Três e Meio e 5.
32 tem uma margem de erro aqui aí vai ter uma discussão de desvio padrão e tudo mais e aqui a gente tem uma nota que não é necessariamente 4. 4 a minha nota mesmo pode estar entre três e meio e 5. 32 eu peguei quando tinha poucas pessoas respondendo para mostrar a diferença do que acontece quando muitas pessoas respondem depois de 64 pessoas respondendo joguei no mesmo software a média tá 4.
2 não é mais 4. 4 a média a média tá 4. 2 e ele me trouxe inclusive Olha que o intervalo de confiança agora tá entre 3.
8 e 4. 6 eu não quero complicar para você agora a gente tem um modo inteiro só de estatística e o X para você analisar Qual que é a melhor ferramenta para você usar quantas pessoas recrutar você confiar naquela análise ou não isso para diferentes tipos de pesquisa tá para NPS para quando você faz análise quantitativas qualitativas enfim tem tudo isso lá no módulo de estatística mas aqui o que eu quero sensibilizar é quando eu tenho menos pessoas eu tenho menos confiança no resultado aqui a minha margem de erro era algo entre três e meio e cinco né e aqui a margem de erro tá entre 3. 8 e 4.
6 você vê que é um espaço menor as chances de eu estar por aqui olha são maiores Eu tenho um intervalozinho a estatística ela não vai te dar certeza ela vai te dar cada vez menos margem direta que a margem de era enorme é igual falar né previsão do tempo hoje pode fazer entre 10 e 30 graus entre 10 e 30 graus tá de sacanagem outra coisa é a previsão do tempo de falar hoje pode fazer aí entre 12 e 15 aí você já sabe que tipo de roupa você tem que usar né porque quanto menor a margem de erro melhor para você tomar decisão então estatística é uma discussão importante eu trouxe aqui que cara de uma nota de 1 a 7 aqui com intervalo de confiança de 95% a nota para encontrar essa informação encontrar fatura tem 3. 8 e 4.
