Planejamento da Avaliação de IHC

oi oi pessoal vamos para mais uma aula essa aula vai ser sobre o planejamento da avaliação de cliente o objetivo é então discutir a importância de avaliar o sistema é ensinar para vocês como fazer o planejamento dessa avaliação e ensinar para vocês também os objetivos de uma variação certo bom é só os passadas a gente viu bastante é todo um processo de design né dhc nesse processo de design primeiro a gente considerava análise da situação atual depois a síntese para poder intervir nessa situação atual tá a gente vai é passar para fase de avaliação tá

e só recapitulando um pouco né na parte de análise a gente viu que era importante entender o perfil dos nossos usuários problemas deles caracterizar uma persona para ajudar a gente no desenvolvimento e que a gente poderia fazer essas coisas a coleta de dados para entender melhor né com usando questionários entrevistas e outros métodos também e na fase de sínteses né que é onde a gente vai propor uma solução a gente viu que é importante criar modelos que representa a interação do sistema e os protótipos também representam aí como o sistema vai ser estruturado e aí

por último a gente vai né entrar aqui nessa fase de avaliação que aonde a gente vai de fato avaliar usando métodos e que existem vários que eu vou no celular aqui nessa aula tudo bem então a primeira pergunta pessoal a que a gente se faz né quando tá estudando esse assunto é porque avaliar o é bom seguir um processo não é de design por exemplo por todas aquelas etapas e atividades e também utilizar as boas práticas como por exemplo padrões que a gente viu os princípios das diretrizes nem sempre usar isso resulta né em um

produto de qualidade a gente não tem como garante tá bom então além da gente continuar seguindo esses processos de usando boas práticas na hora de projetar um sistema também é necessário avaliar tá se o produto realmente atende aos critérios de qualidade tô com mais que você tenha todo um processo bem estabelecido que você faça uso de boas práticas você ainda assim precisa avaliar o oi e aí existem diferentes perspectivas de avaliação tá é o sistema pode ser avaliado né sobre a perspectiva de quem consegue ele normalmente o designer quem constrói né o programador e quem

utiliza é o usuário na perspectiva de quem constrói né os engenheiros tá vou chamar que os engenheiros de software é o projetistas enfim eles querem né o objetivo deles é verificar se o sistema funciona de acordo com a especificação de requisitos e eles é abstraem o que existe fora do sistema tá bom então eles consideram atributos de qualidade mais internas do código tá ele se concentram no que tá dentro do sistema a prisão de técnicas de teste avaliando várias outras coisas mais internas já perspectiva de quem com sobe quem utiliza né é digamos que quem

com sobe concebe é o profissional de yu certo e quem utiliza é o usuário né essa perspectiva não essa perspectiva é tem como foco né verificar como está interação e interface de usuário tem um foco é fora tá imagine que essa caixinha aqui é o sistema da perspectiva de quem constrói que a olhar aqui dentro e a perspectiva de quem concebe né já que olhar como esse essa caixinha né está funcionando aqui fora com seu usuário tá bom então objetivo é verificar se é essa interação está sendo boa não independente de como oi tá aqui

dentro oi e aí a gente pode focar nessa perspectiva mais de quem usa na usabilidade na acessibilidade comunicabilidade experiência do usuário isso tudo são os atributos de qualidade ou da gente pode chamar de critérios de qualidade que a gente viu lá no começo da disciplina em que você pode focar sua variação você pode querer focar sua variação sonhos habilidades sonha atividades só é comunica milhares só experiência do usuário tá o nosso foco aqui na disciplina é sempre usa habilidade oi e aí pessoal que é importante falar que a avaliação da hc tá ela vai ser

feita por avaliadores que não participaram da concepção tá para não ter um viés ou seja que tem que ser neutro com relação ao sistema que está sendo avaliado né e aí é fundamental que a equipe de desenvolvimento assuma responsabilidade de avaliar antes dele se entrega o usuário né porque senão não o custo vai ser muito maior quais são os benefícios existem vários benefícios eu vou me aprofundar mais aqui em um benefício tá se vocês quiserem entender o outro aí vocês os outros benefícios vocês farão um vídeo e len tá bom mas um deles é que

a equipe né ela pode se concentrar na correção de problemas reais em vez de gastar tempo debatendo gostos e preferências particulares eu gosto muito dessa desse benefício por e durante um curso e comprimento de um sócio você tem a sua opinião particular mas sabe quem sabe opinião particular realmente reflete o dos seus usuários e aí você não sabe né com avaliação você consegue saber isso tá você consegue entender se é o problema que você tá achando que que está ocorrendo realmente se repete nos usuários ou se o que você tá achando que não há problema

na verdade é um problema então avaliação traz essa possibilidade e aí pessoal uma avaliação de hc você não faz simplesmente entrega no seu produto para um alguns usuário e deixando ele utilizar não você tem que fazer um planejamento rigoroso né dessa avaliação você tem que entender o que você vai avaliar quando avaliar onde que tipo de dados você vai coletar e como você vai avaliar certo mas e vai falar aqui de cada um desses pontos que são importantes então tem medo o que tá é possível pessoal avaliar diversos aspectos relacionados ao uso de acordo com

os interesses dos stakeholders né é aqui são alguns pontos de avaliação de aspectos a serem avaliados por exemplo você pode querer avaliar apropriação da tecnologia pelos usuários ou seja o quanto usuário ele se apropriou daquela tecnologia né se ele realmente adotou aquela tecnologia para ir você pode avaliar ideias e alternativas de projeto conformidade com padrão problemas da internação na interface do mundo de cada um deles é e da apropriação da tecnologia né ela requer a participação do usuário ea avaliação pode ser realizada em diferentes momentos pode ser até numa atividade de análise aí você vai

fazer um estudo exploratório por exemplo de uma ferramenta já existentes você pode fazer um estudo exploratório para entender como seus usuários estão utilizando uma determinada foi uma ferramenta como eles estão adotando ou pode até durante o projeto que você criou algo novo e antes da implementação né você tem só os protótipos você pode então é usar isso como um uma entrada para sua avaliação tá e aí esse tipo de avaliação ele permite o que compreender os efeitos da implantação de um sistema interativo novo ou reprojetados tá então o que você quer entender mesmo com os

olhos é adotaram a e outra coisa que você pode avaliar suas ideias alternativas de design que é que você vai fazer você vai comparar diferentes alternativas de solução pode ser que você tenha por exemplo é um protótipo um que representa a interação de uma certa maneira né e pode ser você tem um protótipo dois que faz a mesma funcionalidade porém funciona com uma interação diferente né tem um outro fluxo de interação e aí você não sabe qual dos dois aí você pode então comparar você faz é uma uma um convite né para o usuário as

pessoas utilizarem coleta de dados para comparar esses dois protótipos normalmente são formas mais rápidas e informais e os seus protótipos né que você não vai implementar todo um sistema para poder fazer essas comparações seria muito caro fazer isso e é bom e aí você pode acabar que você pode entender que o protótipo um é melhor é ou então não você pode entender que eu não tenho uma coisa boa que o outro não tem mais esse tem que o outro não tem tenho vocês junto a ele queria um outro protótipo a outro protótipo que vai pegar

o melhor dos dois estão é uma uma boa alternativa você também pode focar na avaliação de acordo com a conformidade né é como é um determinado o sistema está seguindo um determinado padrão uma por exemplo lista de recomendações ou diretrizes é lembra que a gente teve uma aula em que eu ensinei que existe uma lista de diretrizes né existe também lista de padrões recomendações enfim é é importante né quando a solução precisa ter algumas características estabelecidas por exemplo é importante que além a acessibilidade então posso fazer uma avaliação baseada não w3c de acessibilidade para ver

se eles estão seguindo mesmo essas recomendações e por último você pode focar sua avaliação nos problemas na interação e na interface e isso é realmente é um aspecto mais que costuma ser mais avaliado na área de hc né é esses problemas são coisas que acontecem que prejudicam a qualidade de uso da por exemplo algum fluxo que foi mal projetado que o usuário não consegue chegar em um determinado ponto da interface porque simplesmente a interface sempre o leva para outro lugar usuário não consegue entender como funciona tá e esses tipos de problemas eles podem até ser

classificados conta com de acordo com a severidade né que é isso professora é por exemplo se um sistema ele é um desculpas um problema um problema cosmético seja pode nível de interface né chegou o recheio aqui cosmético ou se ele é um problema é grave ou se ele é um problema até catastrófico ou seja ele ele impede completamente usuário de utilizar então enfim é esses problemas podem ser classificadas então esses aspectos aí que eu falei para vocês agora que são quatro né eles são considerados como objetivos da avaliação tá e esses objetivos normalmente são detalhados

em pergunta para deixar mais claro para o usuário desculpa pelo avaliador neto aparecendo se você tem um objetivo de analisar apropriação da tecnologia você pode então é refinar esse objetivo em perguntas né que aí você a zona mais o que exatamente é esse objetivo então aqui tem alguns exemplos de perguntas para analisar apropriação da tecnologia por exemplo de que maneira os usuários utilizam o sistema em que difere do que foi planejado quais são os pontos fortes e fracos do sistema na opinião dos usuários perguntas que você como avaliador pode fazer comparar a ideias e alternativas

que né você quer saber disso você quer entender qual das alternativas é mais eficiente mais fácil de aprender qual posso construir menos tem qual delas usuário prefere o objetivo verificar conformidade com padrão o sistema está de acordo com os padrões de acessibilidade da w3c a interface aí o padrão sistema operacional enfim são algumas e para o objetivo identificar problemas de interação e interfase é você pode se perguntar usuário consegue operar o sistema ele atingir seu objetivo tá que parte da da interface o deixa insatisfeito qual é a que problemas dificultam e impedem usuário de alcançar

seus objetivos você pode imaginar assim que você vai fazer uma ótima uma avaliação dessas com os usuários né você vai dar uma tarefa para o usuário digamos que essa tarefa seja cadastrar se cadastrar projeto é uma funcionalidade e aí você dá essa tarefinha para ir e aí o usuário ele vai tentar então cadastrar esse projeto imagina que ele não consegue fazer isso tá isso é um problema porque que ele não conseguiu aí tem que se analisar o fluxo né que esse usuário percorreu porque esse fluxo pode estar dando a entender uma coisa que não que

não é exatamente o que é o objetivo original cadastrar projeto então esse é um problema de e a outra pergunta é quando a vagar avaliação de hc pessoal pode ser aplicada em diferentes momentos do processo de desenvolvimento ah tá dependendo dos dados disponíveis você já tem e aí a gente se a gente for pegar a linha do tempo aqui de um projeto né que o início minha que o final é você pode ir perceber que a avaliação ela tá em ele ela pode estar presente em todo o tempo do projeto do desenvolvimento e é porém

ela vai ter focos diferentes né em nome de parentes estão no início vai ser formativa e no final vai ser a somativa que é isso professora avaliação formativa ela acontece antes de ter uma solução pronta né geralmente utilizada para analisar e comparar ideias e alternativas de sai a identificar problemas na interação podem servir de insumos cenários expostos de tela modelo de interação então aqueles protótipos que vocês fizeram é na última aula né eles podem servir como uma forma se vocês avaliarem ele vocês estão tão seguindo uma avaliação formativa ou seja o sistema ainda não está

completamente pronto não foi o planeta tado por exemplo mas eu já quero começar a avaliar o e avaliação somativa é quando a solução já tá pronta tá então aqui você já vai utilizar uma solução bem pronto ou seja você já projetou todo bem certinho como é que é o seu fluxo é as telas né é às vezes você pode até ter todo o sistema implementado pode ter um protótipo de média ou alta né mas preferência mais alta fidelidade então quando você avalia uma solução que já tá completamente pronta você tá fazendo uma avaliação somativa e

aqui nessa figura interessante que elas diferencia né avaliação formativa ea avaliação somativa a formativa é quando por exemplo uma receita né não preparo de uma comida é quando o chefe ele prova experimenta a comida no caso que é uma sopa e na somativa é quando uso os convidados né e é de fato provam a sopa então é aqui né a solução está sendo construído ou seja a sopa ainda não está completamente pronta e aqui a sopa já está pronto a outra pergunta importante onde a criar é bom as avaliações de hc é que envolve a

participação dos usuários tá podem ser realizadas no contexto real de uso ou seja no local em que o usuário realmente vai utilizar aquele sistema ou pode ser em um laboratório tá certo e aí avaliação em contexto né normalmente são que estudos de campo tá aonde você vai de fato executar o sistema onde os usuários usaram aquele sistema no cotidiano deles e é legal porque fornece dados de situações típicas que pode ser que você não perceba se você fizer uma variação no laboratório você vai entender melhor com os usuários adota uma determinada tecnologia podem vai ser

difícil de controlar execução tá porque muita coisa pode acontecer aí você oi linda e aqui são fotos imagens de avaliações em contexto bom então aqui é uma pessoa avaliando uma senhora né no ambiente da sala da casa dela aqui do mesmo jeito aqui crianças usando um sistema da própria escola então é isso é uma água e avaliação em laboratório aí né você consegue ter um controle maior sobre as interferências então no laboratório você consegue por exemplo controlar quem entra quem sai como os objeções tá dispostos neo e sistemas não é enfim é você consegue ter

um maior controle é e faz e facilita então um registro dos dados das experiências você pode filmar você pode ter todo um ambiente né configurado em um laboratório para poder fazer essa peça aqui é uma foto de um laboratório de usabilidade vejam que interessante de 11 e aqui eu tenho pesquisador que consegue acompanhar por uma tela né usuário utilizando o sistema mas também por esse vidro aqui né usuário tá aqui numa salinha que foi toda projetada é montada para representar alguma ambiente e usuário está ali usando então isso é um exemplo de de laboratório taça

os famosos laboratório de usabilidade que inclusive está sendo finalizado no campus de quixadá ce e a outra pergunta é que tipos de dados tentar é bom depende né depende eu não vou ter um conjunto de dados fixos né fixo para qualquer tipo de avaliação depende do seu objetivo de avaliação então por exemplo se você quer verificar se um determinado sistema satisfaz as necessidades dos usuários tá você vai então coletar dados kit respondam né que te tragam para esse objetivo ou se por exemplo você quer identificar problemas na interface de um determinado sistema então não ser

outros tipos de dados e aí podem ser dados né do tipo qualitativos ou seja que são conselhos não que não são representados numericamente tá podem ser dados quantitativos seja vai ser mais assim é números não pode cair né é você consegue entender a diferença por exemplo qualitativo-quantitativo né quantitativo mais números aqui porcentagens e qualitá o subjetivo né presente fácil ficiente confuso tá você vai ter essas duas perspectivas aí de dados certo mas claro dado exato depende do país motivo e qual o tipo de método escolher bom e como a gente vai avaliar os habilidade pessoal

a gente precisa escolher um método de avaliação existem vários métodos de avaliação dado uso cada método tem as suas vantagens tem assim os seus objetivos estão não existe o logo dizendo aqui de cara para vocês que não existe um método que é melhor que o outro tá esses métodos na verdade eles se complementam aqui eu tenho classificação dos métodos de avaliação eu posso ter métodos de investigação que foi o que a gente já viu lá no início da disciplina e a gente do questionário a gente viu entrevista tá os novos que a gente vai ver

agora são os métodos de inspeção e os métodos de observação os métodos de inspeção é quando o analista é o descubra o especialista em usabilidade ele vai inspecionar a interface do usuário para procurar problemas de usabilidade e comunicabilidade né depende do seu objetivo a existem vários métodos avaliação heurística percurso cognitivo e inspeção semiótica tudo isso são métodos ou seja eu tenho um passo a passo por trás dele que vai dizer para o especialista como ele vai fazer essa avaliação ah e tem os métodos de observação que são métodos que envolvem observar os usuários utilizando um

sistema enquanto nos inspeção não nos situação é é o especialista né hoje observação é o especialista mas com com usuários juntos aí tem uns testes de usabilidade avaliação de comunicabilidade pronto eu te passei em papel então assim esses são alguns métodos existem muitos outros para tu e aí você precisa escolher um método né aí tudo bem mas com avaliar casa final das contas qual o primeiro passo que eu devo tomar né para avaliar um sistema primeiro passo o avaliador ele deve entender a situação atual entender o domínio dos papéis dos perfis de usuários dos objetivos

usuários tá tem que entender o sistema que vai ser avaliado ouvir a mente vá você vai ter que tirar um tempo para estudar aquele sistema essas funcionalidades desses temos tá as interfaces semelhantes ou seja né os sistemas parecidos que já existiu e aí pessoal os passos comuns para qualquer avaliação são esses aqui bom né que são primeiro preparação coleta de dados interpretação e consolidação então na variação vocês vão fazer tudo isso aqui por preparar o coletado interpretar o e o que que é preparar preparar é justamente você planejar né como vai ser a sua avaliação

tá você primeiro definir os objetivos e as questões as perguntas lembra que você tem que refinar os seus objetivos em questões têm que definir o escopo da sua avaliação por exemplo quais partes da interface você vai avaliar pode ser que o seu sistema seja tão complexo tão complexo tão grande que não é possível vocês não vão ter tempo e dinheiro para gente para poder avaliar o sistema como um todo então você escolhe quais são essas partes ou você pode escolher caminhos de interação tarefas normalmente as pessoas escolhem aquilo né a parte do sistema que traz

mais valor certo para o usuário ou que é mais complexo não é que são operações mais complexas e aí você escolhe avaliar essa parte por exemplo a inveja e por exemplo login né que é uma coisa uma tarefa mais fácil tá e que não traz tanto valor para o usuário final é e aí você tem que escolher quais são seus métodos utilizados se você trabalhar um teste de usabilidade se você vai fazer um teste de habilidade ou uma avaliação heurística tá é têm que definir quais são os perfis em número de participantes lembra que lá

no começar a disciplina diz que os perfis eram importantes não só para o projeto a mente é fácil pensando no perfil mas também para eu recrutar participante que estejam dentro do perfil só por isso que também é importante entender os perfis tem que preparar um ambiente material de apoio onde vai acontecer teste né onde vai desculpa onde vai acontecer essa avaliação que de material vou precisar de ferramentas eu vou precisar e fazer um teste piloto tá tipo outro é um teste que você faz antes de lançar alguma coisa para alguém né então antes de fazer

uma variação eu vou testar se tudo da minha variação tá funcionando direitinho que imagina você olá tudo aí chamam usuário para começar avaliação aí você na hora que você esqueceu de fazer por exemplo um questionário você esqueceu de configurar alguma coisa no ambiente e aí você vai perder né aquele aqueles dados é daquele usuário daquele teste porque você vai ter que corrigir e refazer tudo de novo é e aí depois que você definiu tudo isso você vai de fato coletar os dados e essa coleta vai ocorrer conforme o que você planejou e conforme qual foi

o método que você escolheu então por exemplo se você escolher algum método que envolvem inspeção os avaliadores eles vão utilizar o material para a seguir um método eles vão examinar inspecionar interface agora se você escolheu avaliações com a participação de usuários ou seja por observação você vai ter que relatar essas experiências de uso observar de fato as experiências de uso então é depende né de quanto você utilizo e aí depois tem uma interpretação tá nessa atividade o avaliador analisa o material registrado ou seja todos os dados coletados né eu vou tentar analisar tudo isso para

dar um atribuir o significado para eles é vai depender de novo no método a são tá é e você inicia com a interpretação dos dados de cada participante o ou seja uma análise entre o sujeito ou entre a participante né você pode fazer assim então para cada participante você vai avaliar como foi aquele uso tá quais os problemas e aí depois tento consolidação dos resultados então os resultados individuais vão ser consolidados e analisados em conjunto em uma análise denominada de inter sujeito ou inter participante se for uma avaliação por inspeção né onde eu tenho por

exemplo pelo menos três especialistas inspecionando cada um tem os seus resultados né imagina eu tenho especialista um um especialista 2 um especialista três cada um fez a sua inspeção depois tem que ter uma fase em que todos eles três vão se reunir para consolidar os resultados dos três certo então isso faz parte da consolidação do mesmo jeito se eu tiver por exemplo isso é por causa de uma expressão certo e sua por um caso de teste de usabilidade e aí eu voltei por exemplo né vários usuários que os usaram o seu sistema tá que você

coletou os dados vários usuários digamos sim aí você lá na são manaus você vai analisar de cada um né que a gente chama entra participante aqui na consolidação você vai pegar o de todos juntos que se chama impresso jeito tá eu quero que você vai fazer você vai buscar recorrências nos resultados ou seja pode ser aqui um problema que o usuário enfrentou o 2 o 3 o 4 também temos enfrentado pode ser o que usuário cinco enfrentou pode ser que o 43 também temos enfrentado no mesmo jeito aqui um especialista então você vai buscar essas

recorrências essas coisas problemas que estão se repetindo né no que estão se repetindo eles dão mais um indicativo de que realmente é um problema assim fala comigo com você com mais 5 pessoas durante um teste os habilidade é porque aquilo tem que ser corrigido certo e aí por último o relato dos resultados é você vai então é nos resultados você vai indicar tendências dos problemas tá é você vai por exemplo e você pode até propor soluções né é mas você não vai por exemplo e é não vai poder afirmar categoricamente tá que o sistema tem

alta qualidade de uso se você não encontrar nenhum problema e também podemos afirmar apenas que o estudo não revelou problemas tá no caso de você não tem encontrar tantos problemas é sempre assim você não disse que a consegui provar que o sistema está livre de eles não na verdade é esse o estudo que você fez a avaliação não revelou problema oi e aí você vai criar os relatos de resultados né normalmente nas equipes pode ser por meio de uma apresentação ou pode ser por meio por exemplo também de um relatório de resultados na disciplina eu

peço para vocês um relatório de resultados o que é que esses relatório esse relatório tem que ter primeiro objetivo escutar avaliação para o público-alvo que vai entender no caso eu né como cliente de vocês é a forma como foi realizada avaliação o número perfil de usuários ou avaliadores que participaram um sumário dos dados coletados e vocês vão abusar de tabelas gráficos né figuras um relato da interpretação e análise dos dados uma lista dos problemas encontrados e um planejamento para o reprojeto do sistema considerando esses problemas aqui ó e aí pessoal existe um frame work chamado

diskaid que é para você entender né guiar você durante a gestação é um primor que conceitual tá para planejar justamente esse planejamento execução e análise de hc né esse é the side né é é justamente resumindo aqui explicando o que é o processo de determinar os objetivos depois explorar as perguntas a serem respondidas né dos objetivos lembra que eu disse você precisa pegar objetivo quebrar esse objetivo em perguntas a você precisa escolher os métodos de avaliação que você precisa aqui é importante identificar administrar as questões práticas por exemplo pode ser que você precise né recrutar

os usuários preparar os de equipamentos estão a identificar essas coisinhas as fazer e de fato a valer a fazer o outro de diz respeito à de novo decidir mas agora com relações a questões éticas né gente viu que a gente sempre precisa informar os usuários o que é que vai acontecer uma pesquisa tem que pedir o consentimento dele tem que deixar tudo muito bem explicado para ele certo então é nessa parte aqui você precisa se preocupar com questões éticas e por último avaliar interpretar e apresentar os dados então aí se treino o pezinho é como

se fosse esse passo a passo do que você deve fazer certo para fazer é de faz avaliar e planejar e executar uma batom tá então por hoje é só esse né a primeira aula nessa parte de avaliação de hc que é o planejamento as as aulas eu vou focar mais nos métodos tá em dois em específico né que é uma avaliação heurística e o teste de usabilidade então até a próxima aula pessoal