Falácias associadas ao valor de p

o olá pessoal tudo bem como prometido esse é o terceiro e último vídeo sobre valor de ter os dois vídeos anteriores discutiram o que é valor dp no primeiro discutir isso com base numa história que a história da doutora tomando chá e no segundo eu mostrei isso de uma forma um pouco mais aplicada com a gente calculando o valor dp em cima de uma distribuição ter esse terceiro vídeo é na verdade um contrário daqueles aqueles eu tava te explicando que o valor dp e esse vídeo para explicar o que o valor de pi não é

e muitas vezes a gente acha que é então é um vídeo para a gente falar sobre as falácias em torno do valor dp eu recomendo que se você não assistiu os vídeos anteriores você assiste esses vídeos na ordem assista antes os dois primeiros e depois este porque acho que tudo vai fazer mais sentido tem uma linha lógica entre esses vídeos tá bom então se a gente aquela de falar vocês vão definir falácia falasse é qualquer enunciar o raciocínio falso que aparenta ser verdadeiro é um raciocínio que é verossímil porém é inverídico ele parece fazer sentido

mas não é verdade e existem várias falácias em torno do valor dp que a gente vai discutir hoje é e aí essa é a inspiração pro gravar esse vídeo foram principalmente duas coisas um artigo tule e um curso que eu fiz o artigo em questão é esse artigo aqui de 2019 mostrando que de todos os livros-texto de psicologia de introdução à psicologia que definem o explicam significância estatística 89 por cento deles fazem isso de forma incorreta caindo em alguma dessas falácias de valor de ter esse gráfico aqui foi extraído desse artigo e ele mostra aqui

dos 30 principais livros de introdução à psicologia que foram investigados né desses 25 se propõe a definir significância estatística e desses 2522 fazem de forma incorreta caindo em alguma falácia e ainda nesses 30 livros eles avaliarão se além de dar definição eles davam algum exemplo de significância estatística e desses 30 livros 28 davam algum exemplo porém em 25 deles tinha alguma palavra então isso mostra como o valor dp ele é algo tão complexo que mesmo livros textos explicam o valor dp e significância estatística de um jeito errado eu gostaria de fazer uma ressalva também que

eu não saí daí aqui não é jogar os seus professores de graduação embaixo do ônibus e eu gostaria de dizer que eu entendo o valor didático de algumas falácias às vezes é o primeiro contato do aluno com essa questão de teste de hipóteses valores de t nível de significância e quando a gente vai explicar valores de pedro jeito mais correto possível é essa definição é bem complexas ver e tem uma dificuldade de acompanhar então eu entendo que em alguns cursos principalmente quando é um curso de graduação e um curso de graduação que não é na

área de exatas faz sentido às vezes usar uma outra falácia para explicação fica mais palpável para o aluno é mas se você vai seguir carreira científica importante que você saiba exatamente o que valores de p significa mesmo porque na área da ciência a gente passa a vida tomando decisões com base no valor dp então é muito importante saber o que que ele significa e o que ele não significa e além disso como eu falei para vocês o que me inspirou a gravar esse vídeo foi esse curso que eu fiz nessa cidade brasileira de neurociências e

comportamento na reunião da sb nike de 2018 que foi dado pelo marcus vinicius baldo foi um curso de três dias conversando sobre valor dp e foi o melhor curso que eu já fiz na vida de valor dp foi quando eu finalmente entendi e o marcos foi a pessoa que me apresentou essas falácias então fica aqui meu agradecimento se vocês tiverem oportunidade de assistir algum curso desse caras estão ele é muito bom e tanto marcos 57 do que eu acabei de citar ele se baseia muito no livro que meio que resumiu essas falácias lá em 2012

2009 que é esse livro de be calm abre reversing switches que é direction e então também vale a pena se você tiver interesse ler esse livro além de todas essas referências e também polyenka na descrição um artigo do linkedin que traz algumas dessas palavras que foi escrito com base nesse livro do excel em bom então o que a gente vai falar hoje é sobre todas essas interpretações erradas do valor dp mas antes de falar sobre as minhas pregações incorretas eu queria dar uma relembrada em qual é a interpretação correta do valor dp o que eu

vou discutir nessa aula é bem mais raso então se você quiser uma discussão mais aprofundada por favor volte nos dois vídeos anteriores da playlist bom então o que que o valor de t é a final para a gente entender o que falar de pé a gente precisa entender que todo o teste de hipótese ele se inicia com o cálculo de uma estatística do teste é só estatística do teste ela é calculada com base nos resultados obtidos na minha mostra e ela vai variar de teste para teste então por exemplo teste te usa a estatística tem

a nova usa a estatística f a correlação de pressão usa a estatística r o que quadrado usa a estatística qui-quadrado essa estatística do teste vai variar de teste para teste mas ela sempre vai considerar informações extraídas das amostras com as quais a gente está trabalhando no caso do teste p por exemplo ela vai considerar as médias dos dois grupos que estão sendo comparados as médias e os desvios padrão desses dois grupos e depois de calcular dessa estatística do teste a gente vai comparar esse valor calculado a uma distribuição hipotética de valores então cada uma dessas

estatísticas até a f a r ela tem uma distribuição de frequências essa distribuição a distribuição hipotética e ela é uma distribuição de água adiantar isso ela é uma distribuição hipotética considerando que a hipótese nula é verdadeira então sempre que a gente faz a comparação da estatística obtida com essa distribuição a gente está pensando no universo no qual a hipótese nula é verdadeira então vamos lá eu vou mostrar de novo o exemplo da distribuição ter mais raciocínio que a gente aplica para distribuição ter a gente consegue aplicar para todas as outras as distribuição tela tem esse

formato que é como se fosse dar normal mas mais achatado né mas compridinho oi e o centro dessa distribuição certel zero e portanto valores de ter positivos ficam pra direita valores de ter negativos ficam para a esquerda e aí a gente consegue usar essa distribuição ter pé calcular o valor de ter como que a gente calcula esse valor dp uma vez obtido o valor de t a gente coloca ele no gráfico e o valor dp vai ser a área sob a curva da distribuição tem e veja que a área a gente calcula da seguinte forma

partindo do valor obtido e indo em direção ao extremo mais próximo então como aqui valor de ter negativo eu calcular é para cá se ele fosse positivo eu calcular a área para cá e esse então vai ser o valor de ter o que que esse valor dp representa ele representa a probabilidade de eu ter obtido esse valor de ter aqui ou o valor de ter mais extremo portanto mais negativo nesse caso considerando-se que a hipótese nula é verdadeira então imagine que seu valor dp foi um por cento o quê que isso significa isso significa que

considerando-se um universo no qual a hipótese nula seja verdadeira a probabilidade de você ter obtido aqueles dados é de um por cento bom então o que a gente vai fazer aqui uma análise é bom talvez eu já muito pouco provável eu ter obtido esse valor considerando-se que a hipótese não é verdadeira então talvez eu deva considerar que essa hipótese não não é verdadeira essa lógica por trás então o valor dp ele corresponde à proporção de valores iguais ou mais extremos que aquele obtido considerando-se amostras retiradas de uma população na qual a hipótese nula é verdadeira

essa é a nossa discussão é a primeira falácia eu coloquei ela como o primeiro exatamente porque ela é na minha opinião uma das falácias mais comuns e é a falácia da probabilidade inversa eu acabei de te falar que o valor dp é a trocar a probabilidade de você tem o dut daquela estatística teste considerando-se que a hipótese não é verdadeira muitas vezes o que as pessoas pensam quando elas têm valor dp é no universo então elas inverno tem essa probabilidade elas pensam assim ah o valor de ter é a probabilidade da hipótese nula ser verdadeira

já que o objetivo esses dados e então qual o problema nesse caso assim o problema deixar assim o que a gente fez aqui foi inverter a probabilidade condicional e a gente não pode simplesmente inverter uma probabilidade condicional e considerar que os valores de probabilidade vai ser mantido então o que que o valor dp realmente é ele é a probabilidade de ter obtido aqueles dados aquela estatística teste considerando-se que a hipótese não é verdadeira ele não é a probabilidade da hipótese nula ser verdadeira considerando-se que o objetivo é utilizados a igreja gente a gente tô dizendo

que ser humano tá a gente pensa muito errado em probabilidade e aí para gente às vezes a gente baixo o olho a gente falar mais nada mesma coisa e não é a mesma coisa vou dar um exemplo que eu já dei no outro vídeo é um exemplo que eu li numa série de artigos sobre tamanho de efeito escrito por duas pesquisadores portuguesas inclusive o link aqui na descrição eu escrevi sempre cola e exemplo é o seguinte ela fala assim qual é a probabilidade de você falar português considerando que você tá lendo esse artigo ah bom

achei que tava escrito em português a probabilidade de eu falar português considerando que eu tô lendo aquele artigo é muito alta muito perto de cem porcento certo agora se a gente inverter se a gente fala assim qual a probabilidade de você estar lendo esse artigo considerando-se que você fala português aí agora a gente mudou a gente inverteu a probabilidade agora probabilidade vai ser muito baixa muito próxima de zero certo porque de todas as pessoas que falam português no mundo quantas vão de fato ler aquele artigo sobre tamanho de efeito publicado por essas pesquisadora de portugal

essa inversão da probabilidade muda e tem outra gente que é mais engraçadinho que eu aprendi naquele curso que ele fala assim olha a coisa eu te perguntar qual a probabilidade de você fazer xixi dado que você levantou de sua cama e atrapalha eu te perguntar qual a probabilidade de nossa levantar da sua cama dela que você fez xixi ou probabilidades bem diferentes né é a segunda falácia aliás eu não comentei ensino no momento anterior mas eu tô sempre colocando o nome em português e o nome em inglês da calaço esse material sobre falácia eu não

encontrei material em português eu não sei nesse curso que eu fiz então algumas delas eu mesmo a traduzir o nome então sempre coloquei o nome em inglês também para se você quiser estudar você procure em inglês que a gente vai encontrar material e a segunda falácia é a falácia do erro do tipo 1 é essa também é muito muito comum as pessoas pensam assim o valor dp ele é correspondente a probabilidade de eu estar cometendo um erro ao rejeitar a hipótese nula e esse erro ao rejeitar a hipótese nula é o chamado erro do tipo

um por isso que a falácia do erro do tipo 1 então o que que qual é o problema dessa falácia o problema dessa falácia que ela confunde a definição de valor dp e ea definição de nível de significância alpha o nível de significância aquele que a gente estabelece a priori discute-se nos vídeos anteriores ele sim é a probabilidade de você cometer um erro do tipo um mas o valor de pi não o valor de pena informa nada sobre a nossa probabilidade de estar errado ao rejeitar ou não rejeitar a hipótese nula bom então a chance

de erro ao rejeitar a hipótese nula que é o erro do tipo 1 é dada pelo valor de alfa não pelo valor dp e a terceira falácia também é super comum que é aqui em inglês eles chamam de potes a 500 chance e eu traduzir aí com uma falácia da probabilidade do acaso o artigo que eu mostrei lá no começo para vocês e estudou as palavras mais comuns identificou que essa é a falácia é mais comum nos livros-texto essa falácia é a falácia de acreditar que o valor de c corresponde a probabilidade do resultado ter

acontecido por acaso ou por um erro de amostragem e na verdade esse raciocínio não faz sentido a gente não tá mais trabalhando com acaso quando a gente pensa em valor dp então vou esse aqui para para ficar mais claro eu pensei em um exemplo imagina que eu tenho eu quero comparar as médias de dois grupos a e b por um teste t independente e aí eu obtive um valor dp e quando aplicado eu descobri um valor dp de 0,04 por 104 por cento que que seria interpretação errada seria o pensar que esse quatro porcento é

a probabilidade de ter obtido esses dados por acaso o certo não é isso não tem a ver essa porcentagem é é simplesmente a probabilidade de eu ter obtido esses dados considerando-se que a hipótese nula é verdadeira isso eu tô comparando os dois grupos a minha hipótese nula vai ser de que eles não são diferentes eles são iguais e a quarta falácia é a falácia da validade essa também é uma falácia é super comum já cheguei a aprender isso um curso e a falácia da validade a gente pensar o seguinte se a gente rejeitar e falta

de noiva em geral a gente rejeita quando terminar 15005 a probabilidade da hipótese alternativa ser verdadeira é dada por um menos e como assim vamos imaginar que você fez tu ao seu teste estatístico e você ficou com o valor dp de três por cento e aí tem gente que pensa assim bom se a probabilidade que é obtido no teste é três por cento isso quer dizer que a probabilidade da hipótese alternativa a ser verdadeira é 97 por cento tá vendo que eu fiz eu peguei um e fez menos o valor de porcentagem e sem por

cento menos de três por cento isso também não é verdade então assim como te não é a probabilidade da hipótese nula ser verdadeira um menu e qual é a probabilidade da hipótese alternativas se verdadeira é dentro desse mundo que a gente trabalha da estatística frequency sexta a gente não consegue calcular as probabilidades de nenhuma das hipóteses seria ótimo inclusive se a gente conseguisse mas a gente não consegue é a quinta falácia também é bem comum que a falácia da replicabilidade é nessa falácia o que que está por trás dela eu acreditar o seguinte simples eu

rejeitar a hipótese nula ou seja o valor de ter o tiro foi menor que 0,05 a probabilidade de eu encontrar o mesmo resultado uma replicação é dada por um - p e como assim por exemplo fiz mal meu teste meu filho deu dois por cento um pretenso bom a probabilidade eu chegar à mesma conclusão usando outras amostras é de noventa e oito por cento isso também não faz sentido o valor dp ele traz a informação apenas sobre a amostra que tá em análise ele não é capaz de prever o resultado que eu ia obter usando

outras amostras está além da capacidade do teste de hipóteses é a sexta falácia é a falácia da significância é o que que essa é bem comum também a falácia da significância ela acreditar que a rejeição da hipótese nua impliquem confirmação da hipótese alternativa e consequentemente confirmação da minha hipótese de pesquisa primeira coisa que a gente tem que entender é que a gente consegue é com base no valor dp comparando ele é o valor de alfa tomar uma decisão que rejeitar ou não rejeitar a hipótese nula a gente rejeitar a hipótese noa simplesmente é uma aposta

a gente tá pensando em probabilidades mas na verdade a rejeição daí falta de nua não significa que a hipótese alternativa estão está confirmada aliás a gente nunca tem certeza com relação a nenhuma hipótese é sempre um jogo de probabilidade bom então sempre a gente está trabalhando com probabilidade o resultado de um teste estatístico não tem a capacidade de confirmar nenhuma hipótese nem a lua nem alternativa e quando a gente pensa na hipótese por trás da pesquisa mais grave ainda porque na verdade que a gente chegar a alguma conclusão a respeito da hipótese de pesquisa a

gente precisa não apenas o resultado do teste estatístico mas a gente precisa considerar a qualidade do delineamento experimental muitas vezes as pessoas querem responder a perguntas com seus testes estatísticos que nem é possível responder porque o delineamento experimental não permite responder aquela pergunta então também não dá só para saber analisar dado e não saber pensar em delineamento experimental a formação de um cientista passa por todas as etapas é a sétima falácia é a falácia da insignificância quer que certa forma o contrário da que eu acabei de falar que as pessoas pensam rir se a gente

chegou à conclusão que não vamos rejeitar a hipótese nua essa hipótese nula tá confirmado ou seja não tem esse esse é o problema que a gente fica considerado por quê é porque tem uma frase que eu acho legal para gente lembrar ausência de evidência não significa evidência de ausência então você a hipótese nula ela tecido não rejeitada quer dizer que a gente não tem evidência suficiente para rejeitá-la mas não é não quer dizer que a gente tenha e bem espaço suficiente para confirmar lá então o que pode acontecer que você não tenha feito a é

um delineamento experimental que te permite se rejeitar aquela hipótese nula ainda que ela não seja a verdadeira uma coisa bem comum é pessoas fazerem um teste estatístico com baixo poder então qual é a principal razão de você ter um teste estatístico com baixo poder você ter um tamanho da mostra quem não é suficiente para o tamanho do efeito que você deseja detectar aqui fazendo uma explicação bem rápida porque eu acho que isso é assunto para outra situações outros vídeos mas o que que eu quero dizer com isso como imaginar um teste tá bom para ser

o mais simples tô com parente dois grupos independentes tanto inteira fazendo é comparando as médias desses dois grupos e se a gente quiser detectar uma diferença bem grande entre os dois grupos então se os dois grupos apresentar em uma diferença essa diferença for grande a gente tem um grande e tamanho desse que você tem que ter uma diferença grande uma amostra pequena já basta o porém pode ser que exista diferença entre aqueles dois grupos mas aquela diferença não seja muito grande eu tenho um tamanho de efeito pequeno é possível detectar um caminho diferente pequeno sim

só que para isso eu vou precisar de uma amostra maior certo então se você quisesse você tiver estudando populações né duas amostras nas quais eu tenho um tamanho de efeito pequeno se você usar uma amostra pequena você não vai conseguir rejeitar a hipótese nula você vai cair nessa situação de não rejeitar a hipótese nula é porque o efeito não existe não é porque o teste estatístico não tem poder suficiente para detectar porque sua mostra é insuficiente e essa é uma discussão que a gente pode aprofundar impedir os posteriores inclusive e comenta aí se se isso

te interessa mas então você não rejeitar a hipótese nula não significa que essa hipótese nula tá confirmado é a oitava falácia é a falácia da qualidade é essa falácia é a falácia de você acreditar que porquê você rejeitou a hipótese nula o delineamento experimental experimento o projeto é de qualidade e assim como existe uma outra que eu nem coloquei aqui mas quer do oposto de você achar que porque você não rejeitou a hipótese nula o seu experimentos em delineamento experimental é ruim deu errado é na verdade a gente tem que se desapegar essa relação entre

significância estatística e qualidade do experimento eu entendo também que no mundo que a gente vive a gente vive num mundo que reforça e você sempre queira ter resultados estatisticamente significantes só esses resultados são publicados para a gente tem um viés tô com muito a ver com a publicação dos artigos mas tem em mente aqui o resultado do seu teste estatístico se ele é estatisticamente significante ou não não tem nada a ver com a qualidade do seu delineamento experimental então ele não reflete a qualidade do escuro ó e aqui até eu coloquei o que eu já

disse né mas assim como o resultados estatisticamente significantes não indicam que o delineamento experimental foi bom resultados não significantes não digam que a qualidade do delineamento foi baixa tá para a gente não pode pensar assim a anona falácia é a falácia da magnitude essa eu acho que é super comum começa o que queria falar se é da magnitude eu achar que quanto menor o valor do p maior o efeito observar então a social o valor do p a magnitude desse vou dar um exemplo mas faltar verde você imagina que está fazendo comparações entre grupos e

aí você faz dois experimentos diferentes com para o grupo a e b com o grupo cdb aí na comparação entre o grupo a e b você chega no valor dp que é 0,009 0,044 por cento e aí na comparação entre os grupos c e d você chega no valor dp de 0,5 por cento bem menor certo aí o que as pessoas têm o hábito de pensar é bom como o valor de ter na comparação entre os grupos c e d foi menor então a diferença entre os grupos c e d maior bom então mais diferentes

então é mais estatisticamente significante não existe isso não existe o mais estatisticamente significante o valor de peri não se refere a magnitude da diferença do efeito e é por quê porque na verdade o valor dp ele não é influenciado apenas pelo tamanho do efeito ou seja nesse caso quando eu tô pensando em um teste p pela diferença entre os grupos ele depende também do tamanho da amostra quando a gente tem é amostras muito grandes o valor dp pode ser bem baixo ainda que eu não tenho é feito um tamanho de efeito muito grande então até

eu coloquei aqui esses desenhos para você entender o que eu tô falando aqui eu tô imaginando uma situação que eu tô comparando aqui os fins escusos brancos e ta imaginando aqui nessa mostra assim eu tenho a mesma diferença entre os incisivos brancos book nessa mostra aqui tá a diferença é a mesma entre as entre os grupos quando eu peguei essa galera ou quando peguei essa galera só e aqui quando eu faço esse o teste aqui o valor de pedro a 0,08 15 e aqui o valor de ter a 0,001 e o que mudou daqui para

cá não foi o como diferentes grupos são eles continuam igualmente diferentes a magnitude do efeito continua igual o que mudou é que o valor de pé sensível o tamanho da amostra é por isso também que uma parte essencial do seu delineamento meio que ponto um a parte 1 é você fazer o calculo amostral você calcular quantos indivíduos você precisa indivíduos não necessariamente um ser pessoas né quanto sujeitos experimentais você precisa para você conseguir detectar o efeito que você quer detectar e é por isso também que quando você pega aqueles bancos gigantescos 30 mil pessoas você

começa achar relações que as vezes nem são clinicamente significante elas são estatisticamente significantes que você tá trabalhando com uma amostra gigantesca e a última falar sério eu deixei essa por último porque é uma das que eu mais gosto porque eu acho que realmente é uma que a gente tem que ter consciência dela pra gente parar que se guiar por ela é a falácia da santificação o que que é falácia da santificação a que ela se refere ao pensamento de que se você tem um pé de 0,0 49 seu efeito é significativo você tem um quê

de 0,0 51 ser feita não é significativo o problema desse pensamento pensamento muito dicotômico muito preto no branco que não faz sentido quando a gente pensa em probabilidade que quando a gente pensa em probabilidade uma probabilidade de 4,9 por cento não é muito diferente de uma probabilidade de 5,1 por cento e é importante também a gente lembrar que a nossa nota de corte nosso ponto de corte de cinco porcento ele é um ponto de corte a habitar ele é uma convenção não existe nada provando que cinco porcento é melhor do que seis por cento ou

é melhor do que um por cento a gente não tem essa discussão então se sempre arbitrário ele é uma convenção o que você comentou sobre isso uma vez mas ele mesmo nunca falou a gente olha cinco porcento é sucesso em bota fé isso é uma coisa que a gente vai convencia não meu longo do tempo e virou essa coisa que os cinco porcento definir a sua felicidade você termina experimento roda lá sua estatística se der 0,049 você tá feio em mim e 10 0,0 50 anos você tá triste seu orientador vai falar deve ter o

salto lá e aí arrancar inclusive não faça enfim a gente pegou e santificou esse valor de cinco porcento de 1 g e faz muito sentido a gente não deveria pensar de forma tão dicotômicos tá então joguei para você sua problema de ser tão né aí você pode me perguntar tá é só que é assim que eu mundo pensa assim é assim que o mundo bença você vai continuar pensando em valor de ver qual é a solução para a gente se livrar um pouco desse pensamento dicotômico é a gente parar de analisar o valor dp de

forma isolada tá é a gente analisar não só o valor dp mas a gente colocar as médias a gente colocar os desvios padrão e principalmente a gente começar a criar o hábito de calcular uma outra medida que é o tamanho desse quero fazer vídeo para a gente falar um pouco da parte teórica do tamanho de efeito e quero fazer um monte de vídeo ensinando a calcular tamanho de efeito para cada teste mas o tamanho de efeito vai sim ele seria é uma medida de magnitude da diferença presença também tem que tomar cuidado para não cair

numa coisa certificada do tamanho já sei mas aí a gente deixa essa daí é rica depois eu espero que esse vídeo tenha aberto com a cabeça espero também que por mais seria ficar do meio confuso às vezes eu acho que algumas dessas definições e palácios são pouco confusas e isso tenha feito você refletir e que você tenha conseguido aprender com ele então fica o pedido de sempre se você curte conteúdo que é publicado aqui por favor curta os vídeos se inscreva no canal comente e se você tiver interesse também produz conteúdo de estatística e público

lá no instagram uma roupa estatística aplicada então é isso e até a próxima