Grupo de Estudos - Teoria de Resposta ao Item - Caps 1 e 2

Olá pessoal meu nome é Danilo faço parte aqui do grupo psicometrista Brasil que é um canal que nós temos aqui no YouTube e também no Facebook então esse grupo de estudos eh tem a iniciativa da gente sempre est trabalhando com algum tipo de de assunto e agora nós vamos começar com a teoria de resposta ao item que aqui nós vamos chamar de tri eu sei que tem alguns grupos que chamam de tri Tá mas eu prefiro chamar de tri Porque foi assim que eu aprendi e eu tenho dificuldade até de falar tri para mim porque isso parece uma coisa eh trava língua né bom eu sou neuropsicólogo sou psicometrista também tem a formação em psicofísica e fiz meu mestrado na área de psicologia e e o doutorado na área de neurociências ambos pela Universidade de Brasília tá ã sou aqui parte do ibneuro e também do cog metrix que é o laboratório de psicometria avançada tá E essa iniciativa então do psicom cristas Brasil também apoio aqui da anova que eu acabei esquecendo de colocar a logoz Mas vamos lá Bom primeiramente nós decidimos escolher Nós escolhemos aqui esse livro que é o handbook of item response Theory é um livro que ele é editado tá pelo Win van der Linden tá E esse cara ele é um psicometrista bastante famoso eh eh da Universidade de Califórnia e Tem trabalhado com a teoria de resposta ao item então ele convidou uma série de pesquisadores desta área para tratar do assunto Tá e aí a gente acredita que ah esse livro por ser um livro bastante recente ele também é bastante completo nessa questão eh para abordar a teoria de resposta ao item são três volumes a gente vai estudar apenas o primeiro volume nesse nosso grupo de estudos aqui tá e posteriormente Pode ser que a gente venha estudar os próximos volumes então a cada semana a gente vai apresentar um capítulo do primeiro volume deste livro aqui eh excepcionalmente vou apresentar os capítulos um e dois porque o capítulo um é uma forma introdutória tá e o dois aí vem os modelos dicotômicos da a teoria de resposta ao item bom inicialmente então eh aquele apresenta os fundamentos da teoria de resposta ao item né da tri e também da teoria clássica dos Testes eh coloquei testes clássicos aqui mas é teoria clássica dos Testes que chama de TCT ah foram publicados então de certa forma em artigos bastante juntos entre eles Ou seja eu tô dizendo que a teoria de resposta ao item ela é quase tão antiga quanto a teoria clássica dos Testes tá e em 1904 Charles sperman publicou no seu artigo chamado aqui the proof and measurement of Two things no qual ele fala sobre a questão da da da medida de duas coisas né onde ele introduz a teoria da decomposição de uma pontuação observada em um teste no score verdadeiro e no erro aleatório eh isso levando em consideração né que se tornou então um pressuposto básico da teoria ah clássica dos Testes da TCT e spean se tornou na verdade conhecido hoje em dia até hoje em dia como o pai da psicometria Nós levamos em consideração também aqui no primeiro Capítulo do do autor tá ele fala que alfra binet teve também uma influência muito importante na teoria de resposta ao item E ele fala que Diferentemente dos psicofísicos e dos antropometricas né que estudam aquela relação da altura com com a idade com peso e ele tá falando aqui um pouco da questão também do do eh dos biólogos que trabalham essa questão da medida tá binet foi incubido de medir a inteligência que é um fenômeno tido classicamente como sendo puramente mental então é a primeira vez que a variável latente foi realmente medida tá que é inteligência primeiramente eh B inovou ao criar uma variedade de tarefas que supostamente eram indicativas de funções mentais superiores que são essas funções cognitivas de memória de ra ío de julgamento e abstração ah em segundo lugar Bin utilizou técnicas e ferramentas de uma forma que ele padronizou ele utilizou então protocolos eh de administração de pontuação desses testes tá onde houve um treino dos aplicadores e coisas desse tipo como é seguido até hoje e ele teve uma forte influência eh de vunt que é o primeiro laboratório da da da Psicologia né o laboratório em leipzig ah em terceiro lugar binet também utilizou a idade cronológica dos seus estudantes isso na França para determinar os valores da escala dos seus itens e ele criou então uma escala de idade mental que é a primeira escala de um traço latente agora uma coisa interessante que até eu não sabia mas p Pando bem faz sentido binet Ele criou a primeira forma né de uma escala adaptativa e essa escala dele era o seguinte não era necessário que as crianças mais velhas respondessem os itens atribuídos aquelas crianças mais jovens eh ainda né as crianças mais jovens não precisavam responder todos os itens das das escalas ou seja criança mais jovem que não era capaz de responder itens das crianças mais velhas caso não fossem capazes de fazer não precisavam fazer então os sujeitos não respondiam todos os itens da escala a gente vê hoje por exemplo no CAT né que é o computer adaptative testing onde você tem esse tipo de metodologia né que inicialmente foi até atribuída a b thurston ele deu o seguimento ao trabalho do binet né ele utilizou essa idade cronológica para estimar as curvas de proporções de respostas corretas para cada item para identificar seus valores na escala ele até na verdade eh pegou várias dos dos Testes de binet e fez uma uma forma de uma escala um pouco distinta nesse sentido o thuron ele assumiu que a escala latente desconhecida para os itens né e El impôs uma forma conhecida destas curvas que é a função de distribuição cumulativa ou acumulada né que aqui a gente vai chamar de CDF que é do do do inglês usando os parâmetros de localização como escala para os itens Então se a gente puder observar aqui tá nessa escala absoluta dos dos Testes de Bin ele fez uma unidade e equalitário ele pegou aqui por exemplo o valor de zero seria um é um valor padronizado normatizado para as crianças de 3 anos e meio tá então ele ele deu uma continuidade dessa escala até o valor de 10 então a crianças aqui de zero eh do valor de zero até 10 e pontuou as pessoas aqui em relação à idade cronológica dessas pessoas só que é interessante porque pela primeira vez e thorston ele na verdade ele expandiu esta forma de medir que antes era uma coisa um pouco mais vaga né e ele começou a medir outras coisas como atitude Ninguém imaginava antes que poderia se medir coisa que seria um pouco mais vagas como atitude e ele criou um método de resposta do tipo concordo e discordo tá que é também uma resposta dicotômica que não é na verdade escala lert tá na verdade aqui é só concordo ou discordo da pergunta ou da da questão em relação à atitude para cada item e ele usou a algiva normal como modelo matemático para uma função da resposta tá e a função de distribuição para o score na mesma popula E aí gera uma certa confusão Lembrando que naquela época eh inclusive por questões de muita influência da própria psicofísica e da da do início da da estatística como um todo a distribuição normal ela era considerada então a medida verdadeira então um grande artifício desses primeiros psicom era tentar forçar essas distribuições eh observadas dentro de uma distribuição normal por isso eles usavam aqui o modelo matemático da ogiva tá da ogiva normal eh Então se tem a questão de que a probabilidade da percepção no caso da psicofísica ela é uma função monotonicamente crescente em função da força do estímulo e a função de resposta de escolha eh conforme igual aquelas apresentadas pela função normal parecem ser óbvias então thurston no caso na na sua no seu questionário de atitude aqui mostrado na figura 1. 2 tá ele pegou então pessoas que tinham atitudes mais pacifistas ou pessoas com atitudes mais neutras e pessoas com atitudes mais voltadas para o militarismo E aí ele aplicou esses questionários e mostrando aqui então por exemplo e estas proporções cumulativas tá sendo aqui embaixo da escala o valor de zero o meio da escala seria o valor de meio ou 0. 5 em termos de proporções e o topo da escala seria o valor de 1 então vocês observam aqui que temos uma curva que ela é monotônica e ela é sempre crescente tá ela vai sempre de zero para um da esquerda para a direita tá de baixo para cima zero a um e da esquerda para direita posteriormente Frederick Lord e também George hash eles elaboraram modelos um pouco mais eh completos digamos assim mais próprios que não confundem estas funções de distribuição com o uso das funções de resposta tá existe na literatura inclusive uma grande briga entre os modelos de Lord os modelos de hash né ou hash eu vou falar hash porque pela origem do nome tá que é um pouco mais europeu ali mas o que acontece é o seguinte quem que criou de fato a teoria de resposta ao item né e o modelo R é modelo também conhecido como modelo de teoria de resposta ao item ou é um modelo completamente distinto esta esta discussão eu vou deixar para o próximo Capítulo que é o capítulo 3 que alguém vai apresentar sobre o modelo Rash tá E aí a gente vai discutir um pouco melhor sobre essas questões todas mas aqui no capítulo um ele fala justamente isto que o Frederick Lord Ele criou modelo chamado de dois parâmetros logísticos Mas ele também continua na aplicação aqui da ogiva normal ou seja ele tente forçar através de uma de uma de uma unidade multiplicadora de 1.

7 tá então ele multiplica esses esses valores para tentar forçar uma Oliva normal ele descreveu também distribuições bivariadas nos scores dos itens e a habilidade latente da pessoa tá Eh ele explorou também algumas distribuições de frequência dos scores corretos em testes que eram um pouco maiores com mais quantidade de itens tá E também com mais eh respondentes e derivou também as distribuições bivariadas dos scores corretos em dois testes medindo a mesma habilidade já o George hash por exemplo ele foi um pouco mais rigoroso na sua abordagem e ele rejeita a noção de uma população como inteiramente indesejável tá também isso vai ser discutido lá no capítulo 3 O que que é essa questão de população indesejável É porque tem uma questão de que a teoria de resposta ao item ela seria de certa forma independente da população isso a gente vai discutir um pouco mais tarde e se o modelo envolve dois tipos de parmetro a dificuldade dos itens e a habilidade dos indivíduos enquanto que no modelo do lord no modelo do pl que é de dois parâmetros logísticos ele inclui um outro parâmetro que seria o parâmetro de discriminação Então você teria dificuldade dos itens habilidade dos indivíduos e a discriminação para cada item e geor também introduziu modelos com distribuição poon para ler erros e o modelo Gama com distribuição Gama para ler o tempo tá esses modelos também já foram eh aprimorados por outros pesquisadores tá E hoje TM sido utilizado de outras formas diferentes daquelas propostas inicialmente por Rash mas esses dois são os grandes pais da chamada teoria de resposta ao item moderno e posteriormente nós Temos vários outros sucessores tá aqui o Anderson e que sucede Rash são ele inclusive foi aluno de hash fiser também foi aluno de hash e w também foi um dos alunos de hash a samejima ela ela segue um pouco a linha de Rash principalmente para os modelos politômicos Tá mas ela não teve eh não foi diretamente aluna do dos do Criador desses modelos já por exemplo Lord Lord teve aqui seus modelos seguidos por Alan birb Por novic que inclusive é coautor dele em vários trabalhos e também por BO e bo faz com que os modelos de Lord sejam mais aplicáveis a gente vai ver isso um pouco adiante tá E que ele utiliza outros tipos de estimadores e B se torna também um grande difusor digamos difusor da teoria de Lord da teoria de dois parâmetros logísticos na teoria moderna nós temos ainda os modelos alternativos como uma série de modelos hoje chamados de não paramétricos vários outros modelos que seguem linhas ordinais tá e outros modelos eh politômicos e temos também vários outros modelos multidimensionais Eu lembro que na época que eu estudava a teoria de resposta ao item o principal pressuposto pra gente fazer uma análise da tr era que o modelo fosse unidimensional que os seus dados seguissem uma unidimensionalidade e hoje a gente sabe que tem vários outros modelos inclusive que tratam a tri multidimensional que eu tenho trabalhado bastante além da da desses modelos aí você tem outros modelos mais modernos com o avanço do computador que são os modelos beanos ou as abordagens banas Graças a a técnica de markovic em Monte Carlo hoje a gente capaz de fazer também com hiton Monte Carlo tá e uma série de outras eh estimativas que a gente vai ver posteriormente no nosso grupo de estudo e esses modelos com abordagem Beana permitem a capacidade eles eles nos permitem uma flexibilidade maior para os modelos hierárquicos mais complexos tá e uma coisa interessante é que o próprio autor no livro aqui ele fala quanto que a teoria de resposta ao item está sendo difundida fora da psicometria ele fala que além das áreas de medida psicológica e Educacional você tem hoje a aplicação da teoria de resposta ao item na medida de muitos instrumentos de saúde pesquisa marketing surveys internacionais de larga escala e diagnósticos cognitivos né então tem várias pesquisas eh da tem várias aplicações hoje da teoria de resposta ao item eu não sei se nesse livro A gente vai ver mais talvez em outros volumes que é o chamado cognitive diagnosis que tem sido bastante utilizado hoje em dia eh alguns autores dizendo que inclusive é algo diferente da própria teoria de resposta ao item em cada uma dessas áreas Então os itens eles são calibrados a teoria de resposta do item ela é utilizada para calibrar os itens né para verificar o Fit do modelo e verificar principalmente a questão dos scores dos indivíduos e hoje você tem teoria de resposta ao item com limite de tempo você tem por exemplo e o testet item response the que é um modelo alternativo que você permite que os itens tenham dependência local ele fala de uma série de outras questões que são utilizadas para eh são são beneficiadas pela teoria de resposta ao item Ah uma coisa interessante que o autor fala a respeito no capítulo 2 aqui perdão no capítulo ainda é sobre a questão de que princípios demarcam a área da teoria de resposta ao item né primeiro princípio é o foco na resposta do sujeito para testar os itens ao invés de escolher um score a priori no teste inteiro que é uma coisa utilizada na Teia eh clássica dos Testes o segundo princípio seria o reconhecimento da natureza randômica dessas respostas e a necessidade de um modelo probabilístico para explicar suas distribuições e o terceiro princípio seria a presença de parâmetros separados para os efeitos das habilidades ou atitude dos sujeitos e as propriedades dos itens e ele traz uma coisa interessante por exemplo tem modelo vou mostrar aqui que o modelo simples e o modelo hierárquico no modelo simples por exemplo você tem aqui na figura a né o sujeito e o item ou seja as caracter do sujeito como habilidade interfere e no score total do do teste e as característica de cada item interfere no score total do teste esse aqui é o modelo chamado de modelo simples e aqui no na figura B você já tem um modelo hierárquico onde você tem não só as características da habilidade do sujeito como as características do teste interferindo e no score total do teste através da resposta do indivíduo Mas você pode ter também aqui um outro terceiro tá um terceiro indivíduo ou um avaliador no caso de uma prova por exemplo que seja com base na numa prova subjetiva uma prova de questões abertas por exemplo não é então você poderia incluir em modelos mais hierárquicos a presença de um avaliador e este avaliador então então interfere também no score total do seu instrumento tá então aqui você seria uma prova fechadinha que você não teria questões subjetivas nessa nesse nesse modelo a e o modelo B você permite um avaliador te dar uma pontuação por exemplo para uma questão aberta ou subjetiva vamos começar então o Capítulo dois onde falamos sobre os modelos dicotômicos e aqui eu vou apresentar somente os modelos unidimensionais tá então os modelos de respostas logísticas unidimensionais primeiramente o autor apresenta ele faz de uma forma diferente ele ele começa então apresentando o modelo de três parâmetros primeiro para depois baixar para os modelo de um parâmetro então por exemplo o modelo de três parâmetros é chamado de modelo geral tá E ele foi introduzido por birb em 1968 e aqui no gráfico a gente observa esse modelo de três parâmetros que apesar de chamar de três parâmetros logísticos a gente vai ver depois que ele não é na verdade um modelo Logístico por quê Porque ele permite aqui a uma flexibilidade eh nesta nestas nessa ponta da esquerda aqui onde você tem a probabilidade do indivíduo né ter um acerto ao acaso um acerto de forma aleatória Então nesse gráfico aqui a gente pode entender da seguinte forma por exemplo quanto mais à direita esta curva está aqui é um um teste de 40 itens de matemática tá que ele apresenta no livro quanto mais à direita esta curva está mais difícil é o item e qu Quanto mais a esquerda mais fácil é o item e tem aqui uma questão da da flexão ou do ângulo que cada item apresenta se vocês observarem cada item aqui tem uma uma angulação diferente tá o item que tem uma angulação mais Branda ele é pouco discriminativo e aquele item que tem uma angulação mais forte ele tem uma discriminação maior então você pode ver por exemplo que Um item muito difícil aqui nesse caso ele pode ter uma baixa discriminação enquanto que Um item com uma dificuldade média pode ter uma discriminação mais forte ou uma discriminação maior e mesmo itens muito fáceis eles podem ter uma alta probabilidade de acerto ao acaso erroneamente a gente chama isso de chute Tá mas um chute você pode errar você pode ter um chute de Um item e esse chute pode ser uma exposta errada não é o caso aqui é somente quando o endosso ao item ele é de forma aleatória Então você tem que na verdade ter um acerto para ser considerado o parâmetro c o modelo 2 PL como a gente viu anteriormente foi introduzido por l em 1952 e eh ele usa uma ogiva normal apesar de de ser considerado como dois parâmetros logísticos né Depois a gente vai ver que isso atualmente está em desuso ninguém tem utilizado mais o modelo de ogiva normal e o modelo umpl ele chama de equivalente ao modelo Rash de 1960 só que eu coloquei aqui uma uma questão minha tá que o modelo Rash tem um parâmetro de discriminação a igual a 1 enquanto que o modelo um PL esse valor de a ele pode ser diferente de um tá eh eu não sei se alguns autores consideram como sendo a mesma coisa o modelo Rash quo o modelo umpl mas do meu entender Eles são diferentes por quê Porque no modelo umpl o parâmetro a será igual para todo mundo para todos os itens mas ele pode ser diferente de um enquanto que no modelo Rash o parâmetro de discriminação sempre será igual a um o autor também ele começa a falar que nós temos duas versões desses modelos dicotômicos onde você tem parâmetros com efeitos fixos e parâmetros com efeitos randômicos Então a gente vai começar com os parâmetros do efeitos fixos que e são estimados por softwares mais antigos e a gente vai entender que os parâmetros com os efeitos randômicos eles são atualmente preferíveis nos modelos de teoria de resposta ao item nos modelos de efeitos fixos no 3 PL aqui no três parâmetros Logístico nós temos aqui essa equação que ela explica que para cada pi né em função e do parmetro para o efeito de habilidade do respondente do teste e as propriedades do item então teta é o parâmetro que fala a respeito da habilidade do respondente ou do indivíduo se a gente observar aqui nós temos três parâmetros do item um parâmetro a que é um parâmetro de discriminação o parâmetro B seria um parâmetro de dificuldade e o parâmetro C seria a probabilidade de sucesso ou de acerto ao acaso Então você tem o parâmetro teta que fala a respeito da habilidade do indivíduo e você tem os parâmetros dos itens que fala a respeito eh das características do item Então você tem na mesma escala os itens e eh as características do item e a característica do indivíduo então nós temos aqui e uma função exponencial onde você tem Ah o efeito do da probabilidade de sucesso aou acaso C + 1 - C multiplicado aqui em exponencial né Você tem o a multiplicado Então por teta - b e aqui embaixo também essa equação ela se repete porém somado a 1 Olha que interessante se você tiver por exemplo o valor de C = 0 Se Eu Não Tô interessado neste valor de C vamos pegar essa mesma equação e colocar ela aqui ó então se eu tenho que C ela igual a z0 o que acontece então é um parâmetro do pl dois parâmetros logísticos eu vou ter o parâmetro a de discriminação e o parâmetro Beta ou B de dificuldade dos itens se eu fixar o parâmetro a eu terei o parâmetro de um PL um modelo apenas um parâmetro Logístico que vai ser a dificuldade dos itens se a for igual a 0 seria o modelo has se a diferente de perdão se a for igual a 1 é o modelo Rash se a for diferente de 1 ou a igual a 1 pode ser o modelo 1pl então na minha interpretação na teoria de resposta it se o parâmetro a for igual a 1 ele será igual a has E se o parâmetro a for diferente de 1 mas fixo para todos os itens da sua escala ele vai ser o modelo 1pl bom então ele se ele for igual a 1 ele pode ser tanto 1 PL Quanto pode ser Rash E aí que gera essa tá porque se ele é igual a um ele pode ser tanto o Rash quanto um parâmetro Logístico mas necessariamente se ele for fixado diferente de um como por exemplo 1. 2 aí ele vai ser apenas um PL e não pode ser considerado hash Ok bom os modelos de efeitos fixos eles são apresentados então no Capítulo e o autor ele fala uma coisa interessante que é justamente isto porque o modelo dos três parâmetros logísticos ele não é Logístico Na verdade ele deveria ser multiplicado lá eh tem uma uma uma equação um pouco diferente mas ele fala que isso também não não vem tanto ao caso porque é uma forma até de facilitar a compreensão que nós teremos temos em relação à teoria de resposta ao item tá eu não quero chegar nesses detalhes Mas vocês podem observar lá no capítulo um eh e exatamente onde ele apresenta Por que este este modelo ele não é considerado Logístico é comum utilizar ainda a constante essa constante proposta por Lord que é ele a gente chama de D onde você teria a multiplicação né do da da do X da exponencial ali o a multiplicado por teta - B você multiplicaria então por 1.