continuando com a parte 3 agora a parte mais subjetiva estão os viésis a partir de descrição dos resultados a gente já cobriu o Rive resolve uma boa parte disso se as pessoas seguirem essas recomendações ou o máximo possível mas ainda a gente precisa que os nossos resultados sejam robustos e generalizáveis quais são os problemas da e reprodutibilidade a gente tem um uso inapropriado de animais gasto de verba perda de tempo e frustrações em perspectivas de tratamento tem um tratamento para alguma doença que parece muito promissora em modelos animais e aí a gente vai testar em
humanos não tem efeito a gente vai testar em outros modelos animais não tem efeito então é importante que os nossos resultados sejam já de início bastante robustos e generalizáveis como resolver esse problema não temos uma solução infalível tem aspectos inerentes aos incentivos de publicação Então a gente tem coisas como status égo mesmo as pessoas querem publicar porque isso acaba sendo uma moeda social inclusive isso tem efeito no currículo e sim o currículo vai envolver o financiamento para o próximo projeto quanto mais você publica é mais provável que você consiga financiamento para publicar mais em muitos
locais do mundo o pagamento do próprio salário vem do financiamento do projeto Como assim temos um professor nos Estados Unidos o departamento banca 50% do salário o restante é bancado por Grant de pesquisa como que ele consegue doente de pesquisa tendo publicações então aí a gente tem um incentivo para publicação que pode atrapalhar a gente conseguir ter resultados acaba gerando vieses de publicação por exemplo esse mesmo tipo de incentivo ocorre nas revistas que publicam os artigos científicos as revistas querem que artigos de alta qualidade sejam publicados e artigos que acabem sendo muito citados porque isso
vai aumentar o fator de impacto da revista e aumentar o prestígio da revista então isso todos mais chamativos com resultados positivos detecção de efeitos que aconteceram diferenças estatisticamente significativas acabam tendo uma certa prioridade na publicação e resultados com resultados negativos acabam tendo maiores exigências do que os estudos com resultados positivos e aqui a gente tem alguns padrões na nossa análise interpretação de resultados Então a gente tem aqui os dados a gente tem informação conhecimento e teorias da conspiração no final das contas a gente tem uma tendência a ver padrões na aleatoriedade a gente não quer
perder informações que eventualmente estejam aqui então a gente torce os dados a gente fica analisando e realizando e criando interpretações para tentar explicar o que que tá acontecendo ali essa de criar explicações a gente chama de Pi harking que é uma hipótese a posteriori você tinha uma hipótese de que após a indução de uma lesão um fator cerebral iria reduzir aí você vê que ele aumenta logo você conclui que foi uma resposta compensatória do organismo ao Insulto que você promoveu Puxa mas é contrário a sua hipóteses Inicial mas na hora de escrever você escreve os
dados como se você já tivesse prevendo aquele resultado E aí se uma hipótese é derivada dos dados a capacidade dos dados de suportar hipótese é evidentemente reduzida porque você deveria ter uma hipótese e coletar dados para validar sua hipótese e não você a partir dos dados criar uma hipótese você pode fazer isso em um estudo exploratório o que a gente não pode é dar um viés confirmatório para um estudo que na verdade foi exploratória isso tem que ficar claro em como você descreve os resultados E como você discutir os seus resultados tô novamente Cuidado com
dados obtidos de um único experimento especialmente se muitas variáveis foram mensuradas se muitas variáveis foram mensuradas é muito provável que você encontre diferenças em algumas delas talvez elas não sejam tão relevantes assim talvez elas tenham sido ao acaso E aí tá mas Puxa vida não possa analisar muitas coisas não é um bom uso do animal é o coletar vários dados é um ótimo uso desde que fique claro que esse é um estudo exploratório para o estudo ficar mais completo ainda é possível fazer um estudo confirmatório Poxa encontrei diferenças que eu não esperava agora eu vou
repetir esse experimento e eu vou analisar só aquela parte que deu diferença para ver se ela se repete para ver se é consistente E aí sim você tá com um estudo confirmatório uma outra coisa que a gente acaba fazendo é negligenciar a variabilidade das amostras então por exemplo se a gente joga uma moeda para cima em metade das vezes vai dar cara outra metade vai dar coroa mas eu posso jogar três vezes seguidas e todas caras assim tem uma variabilidade que é inerente as respostas biológicas a gente tem viés de independência vieste de confirmação viés
de análise e isso aqui é importante o que hack é você alterar a forma da análise para que análise diga aquilo que você quer você espera encontrar um efeito Você tem uma barra de dados aqui uma barra de dados um pouquinho aqui mas a estatística diz que não há uma diferença você troca a análise ou remove o outline um animal que tá não tá ajudando a sua hipótese que você posteriori tá achando que não tinha algo de errado com ele e aí a diferença estatística aparece você faz uma nova numa curva dose resposta você encontra
que há um efeito mas Aí você faz o teste pós rock para ver qual dose é diferente de quem e nada aparece você troca por um pós rock que é mais permissivo é mais fácil de encontrar diferenças mas tem mais chance de falsos positivos e aí você encontra a diferença que você queria Talvez seja um falso positivo a gente tem viés na escrita quando a gente conta uma história que é o pirrar que quando a gente faz as hipóteses a posteriori e a gente tem um viés da literatura a gente vai selecionar muitas vezes artigo
científicos que embasam aquilo que a gente está dizendo porque a gente não vai improvável a gente escolher artigos que vão totalmente contrários ao que a gente está tentando argumentar bom a gente também tem viés de expectativa em análise subjetivas como comportamento animal e a gente tem um efeito de manada que é seguir a moda Como assim se todo mundo tá vendo aqui a nova substância do momento tá tendo efeitos muito bons em tal modelo a tendência é que você busca encontrar aquele efeito também e você repita o experimento até dá certo o que pode ser
muito problemático quando esse até dá certo é o controle positivo do seu modelo se o seu modelo precisa que você repita e refine faça pequenas adequações dos procedimentos experimentais para encontrar o efeito do controle positivo Será que o modelo e esse controle é positivo são realmente bons e generalizáveis se você tem que fazer tantas coisas para conseguir encontrar efeitos que são clássicos da literatura Será que não tá todo mundo fazendo a mesma coisa até conseguir encontrar esses efeitos e a gente acaba patinando no gelo e avançando pouco na ciência e avançando um pouco na ciência
enquanto utiliza animais de experimentação e que a gente tem que utilizar o mínimo possível e no número adequado para ter conclusões aí vem novamente a questão dos paradigmas se a gente começa a fazer alguns experimentos que deveriam dar certo e não tá dando certo e aí começa a conversas em congresso trocas de e-mail a gente começa a perceber que várias pessoas estão com o mesmo problema eventualmente acaba acontecendo algum tipo de quebra de paradigma isso é muito lento a ciência se corrige de maneira mais lenta do que a gente gostaria Provavelmente por conta dos fiéis
inclusive de publicação aqui tem um exemplo que eu acho curioso que saiu na Science Uma pessoa recebeu um artigo para revezar então estava sendo feito teste de tratamento para derrame em um modelo experimental em camundongos como foi feito como estava descrito que foi feito tinham 10 camundongos com o modelo de derrame que eles fazem a oclusão aqui de uma carótida e venha o dano cerebral causado também 10 camundongos com derrame controles e 10 camundongos com derrame tratados dois grupos todos com derrame separando controle retratado como os dados foram apresentados 10 camundongos controles e sete camundongos
tratados Cadê os outros três eles morreram esses caundongos morreram e não foram relatados no artigo o revisor questionou E aí obteve a resposta que esses animais morreram mas foram três animais do grupo tratado isso vai fazer com que o efeito do tratamento parece ser melhor do que ele é então claramente isso é um viés então aqui três camundongos do grupo tratado tinham morrido outras curiosidades um experimento aqui que foi submetido ao periódico em que foi visto que a diluição excessiva de um composto de uma imunoglobulina levaria a um efeito significativo quando essa alta diluição era
administrar em selvas E aí tinham algumas coisas que eram curiosas então claramente chamou atenção como que basicamente água estaria tendo um efeito Será que a água teria memória de uma imunoglobulina é muito improvável que isso aconteça a probabilidade a viabilidade de que isso acontecesse a lógica para que isso acontecesse era muito pequena então é provável que um Resultado positivo quanto a isso possa ser um falso positivo isso despertou um alarme nas pessoas poder receber esse artigo para revisar e foi feito uma vistoria no laboratório para averiguar resultados que deveriam força para homeopatia e alguns vieses
foram detectados como conflito financeiro e aí conflito financeiro eu não digo conflito de quem financiou ou estudo Quando eu digo conflito financeiro é quando o dinheiro vai para o bolso da pessoa aí sim a um conflito financeiro mas dentre os viés um deles se destacou as mensurações dos grupos controles eram descartadas quando os valores não eram adequados Digamos que eu esteja fazendo um experimento eu tenho o meu grupo controle meu grupo tratado todo mundo que não responde ao meu tratamento Eu tiro fora e no final das contas eu vou ter que o tratamento funciona se
eu faço essa seleção isso tá fazendo com que eu tenho um viés aí eu tô manipulando dados Às vezes quem tá fazendo isso não percebe que está manipulando dado e tá fazendo fraude mas o tema é esse mesmo isso acaba sendo fraude pode ser intencional ou não mas acaba sendo fraude E falando em fraude e comportamento Tem uma enquete que foi realizada pela Nate E aí é um problema porque é uma enquete as pessoas têm que responder o próprio comportamento e foi observado aqui comportamentos distintos que eram feitos por cientistas diferentes eles organizaram aqui os
10 comportamentos que eles julgavam ser os piores possíveis e aqui falsificar dados estava em primeiro e o que tem aqui é a porcentagem de pessoas que já relatou até feito isso nos últimos três anos então 0,3% dos respondentes alegaram já ter falsificado dados que que a gente vê aqui por exemplo alguns aqui que são mais comuns são esses outros que não foram considerados tão graves assim mas eu acho que o 15 ele é muito parecido com o primeiro deixar observações ou deita points de lado tirada análise baseado num feeling de uma sensação de que aquele
dado está inapropriado esse valor aqui tá muito alto não faz muito sentido vamos tirar ele fora sem ter tido um critério a priori então 15% dos respondentes alegaram já ter feito isso aqui é o momento em que é meio que fraude mas a pessoa não está percebendo que está fazendo fraude para ela faz muito sentido isso ah mas às vezes tem um valor lá as suas leituras de um equipamento giram entre 10 e 20 você tem um valor que é 700 muito bem se você sabe os valores do seu equipamento Você sabe a priori que
dados que tipo de dados que você tem que rejeitar e esses critérios já estão pré-estabelecidos o que não dá é fazer depois depois que você não gosta do dado é que você decide que você vai acabar tirando uma coisa que eu comento muito Às vezes a pessoa tá fazendo um experimento e ela nota que um animal tão um pouquinho diferente ele tá mais acuado ele tá comendo menos ele perdeu peso aí a pessoa anota para decidir o que ela faz depois ela faz o experimento coleto dado e o dado dá ok o dado dentro do
que ela espera digamos era um animal controle o controle deu uma resposta parecida com a de um controle mas se não tivesse dado ela iria tirar esse animal depois só depois que ela não gostou do dado o que eu sempre recomendo é se algo te chamou atenção o animal não parece bem retira ele do experimento no momento em que você acha que ele não deve continuar isso faz muito mais sentido do que esperava é o dado E aí você decidir se você gosta ou não desse dado para manter ou não manter Sem falar que nesse
caso se o animal está no estado de saúde nesse exemplo que não está adequado dependendo dos seus desfechos humanitários pré-definidos com a aprovação do seu projeto pelo seu você deveria eutanasiar esse animal o outro dado interessante é que a proporção de resultados positivos que favorecem a hipótese do trabalho tem crescido ao longo dos anos potencialmente indicando um viés de publicação em que é mais fácil publicar resultados positivos do que resultados negativos que neguem a sua hipótese agora será que a maioria dos resultados é falsa Tem gente que fala que sim tem gente que tenta argumentar
quanto a isso talvez seja uma fala um pouco exagerada agora esse outro artigo aqui ele é um pouquinho mais é no chão menos exagerado e fala que a probabilidade prévia de uma associação ser verdadeira tem relação com a probabilidade de uma associação encontrada a ser falsa ou Verdadeiro Então se algo faz sentido é menos provável são falso positivo se algo não faz sentido como homeopatia é mais provável ser um falso positivo então Conforme você é aumenta a probabilidade prévia você reduz a chance de um falso positivo esse gráfico aqui um pouquinho confuso porque a probabilidade
prévia ela tá aumentando a medida que vai para esquerda e no eixo Y A gente tem a probabilidade de um falso positivo então quando o poder do estudo é alto Conforme você aumenta a probabilidade prévia você tá reduzindo a chance de um falso positivo aqui um dado interessante que é a comparação entre academia e Indústria a gente imaginaria que a indústria por conta do interesse financeiro teria uma chance maior de reportar que os tratamentos funcionam porque ela quer vender esse tratamento mas vejam É muito problemático a indústria vendeu um tratamento que não funciona então nos
estudos feitos pela indústria Na verdade é um Rigor muito grande porque eles têm que ter certeza que funcione antes de adiante com os estudos daqui é o efeito pré-clínico em modelos animais de drogas para tratamento da esclerose lateral amiotrófica comparando artigos publicados versos Instituto de Pesquisa quando a Barrinha tá para direita é porque houve aqui um aumento da chance de sobrevivência dos Camundongos no estudo os estudos publicados para vários tratamentos Barrinha Vai um monte para direita mas num estudo da indústria nenhum tratamento teve efeito e alguns ameaçaram até ir ao contrário reduzir a chance de
sobrevivência porque será essa diferença Será que tem vieses diferentes aqui por um lado a indústria precisa ter certeza que o tratamento funciona antes de seguir com estudos clínicos e por outro lado a academia precisa simplesmente publicar estudos para se manter publicando E aí de onde vem esses vieses né incentivos de publicação principalmente e indo na mesma linha a gente tem aqui uma comparação entre estudos que são financiados ou não financiados pela indústria Quando eu digo financiado se refere a ter verba para realização do estudo e não para salário do pesquisador aqui a gente tem uma
comparação entre efeito Nistatina sobre a terra esclerose os efeitos em estudos não financiados por indústria eram aproximadamente três vezes maiores do que financiados por indústria o que nos faz nos perguntar porque os efeitos vindo da academia são mais inflados porque estudos que vem por exemplo de universidades acabam sendo com o tamanho de efeitos maiores Será que a gente faz Os experimentos melhor ou será que a gente tem mais viésias é algo a se pensar a gente tem uma série de vieses em biologia experimental o pi harking o pieking a gente tem a descrição incorreta da
unidade experimental a gente tem pseudo replicações como por exemplo se a unidade experimental é uma rata prenha mas a gente usa os filhotes todos e aí cada um dá um ND 1 2 3 4 5 para cada filhote versus um de apenas uma rata a gente tem fatores de confusão entre as balança a gente tem desproporções entre sexos gaiolas dia do experimento dia do experimento Eu já vi gente falando hoje eu vou fazer os meus controles idealmente o experimento ele é feito com controles para você controlar as condições do ambiente ter um parâmetro de comparação
se você faz controles em um dia e o grupo experimental em outro você perde o parâmetro de comparação então eles devem correr juntos na verdade agora novamente né como resolver os problemas da reprodutibilidade que eu posso falar de útil aqui identificar corretamente as unidades experimentais utilizar as unidades apropriadamente eu sei que isso parece que utiliza mais animais faz com que você utilize mais animais mas é o jeito estatisticamente correto é conhecer os efeitos que influenciam os desfechos ou as variáveis Independentes minimizando as fontes de erro onde que você pode ter problemas que gerem erros nos
experimentos E você tem a dados que estejam contaminados é importante fazer isso a priori e não a posteriori depois de Não Gostar de um dado você refina o seu método para ter poucos dados poluídos ao invés de você ver dados poluídos e resolver tirar eles arbitrariamente e fazer coisas que aumentem a capacidade de generalização dos dados como por exemplo a utilização de machos e fêmeas para ter uma amostra mais representativa bom e como a gente pode reduzir os erros a gente vai falar isso no próximo vídeo falando de fontes de erro randomização cegamento fator do
tempo e o fator do experimentador também e algo que não tá aqui mas é o fator de introdução intencional de variabilidade como forma de aumentar robustez dos dados
