Teste GRIM

O teste de inconsistência de médias relacionado à granularidade (GRIM) é um teste estatístico simples usado para identificarr inconsistências na análise de conjuntos de dados. O teste baseia-se no fato de que, dado um conjunto de dados contendo N valores inteiros, a média aritmética (comumente chamada simplesmente de média) é restrita a alguns valores possíveis: deve ser sempre expressável como uma fração com um numerador inteiro e um denominador N. Se a média reportada não se enquadra nesta descrição, deve haver um erro em algum lugar; o termo preferido para tais erros é "inconsistências", para enfatizar que a sua origem é, à primeira descoberta, normalmente desconhecida. As inconsistências do GRIM podem resultar de erros tipográficos ou de entrada inadvertida de dados ou de fraude científica. O teste GRIM é mais útil em áreas como a psicologia, onde os pesquisadores normalmente usam pequenos grupos e as medições geralmente são números inteiros. O teste GRIM foi proposto por Nick Brown e James Heathers em 2016, após uma maior consciência da crise de replicação em alguns campos da ciência. [1]

Procedimento

O teste GRIM é simples de realizar. Para cada média relatada em um artigo, o tamanho da amostra (N) é encontrado e todas as frações com denominador N são calculadas. A média é então verificada em relação a esta lista (tendo em conta o fato de que os valores podem ser arredondados de forma inconsistente: dependendo do contexto, uma média de 1,125 pode ser reportada como 1,12 ou 1,13). Se a média não estiver nesta lista, ela será destacada como matematicamente impossível. [2] [3]

Exemplo

Considere um experimento em que um dado honesto é lançado 20 vezes. Cadaa lançamento produzirá um número inteiro entre 1 e 6, e o valor médio hipotético é 3,5. A média dos resultados dos lançamentos é então calculada em conjunto e a média é relatada como 3,48. Isto está próximo do valor esperado e parece apoiar a hipótese. No entanto, um teste GRIM revela que a média reportada é matematicamente impossível: o resultado da divisão de qualquer número inteiro por 20, escrito com 2 casas decimais, deve ter a forma X.X0 ou X.X5; é impossível dividir qualquer número inteiro por 20 e produzir um resultado com “8” na segunda casa decimal. [4]

Interpretação e limitações

Mesmo que os dados falhem no teste GRIM, isso não é automaticamente um sinal de manipulação. Erros na média podem ocorrer inocentemente como resultado de um erro por parte do testador, erros tipográficos, erros de cálculo e programação ou relatórios inadequados do tamanho da amostra. [2] No entanto, pode ser um sinal de que alguns dados foram excluídos indevidamente ou que a média foi ilegitimamente falsificada para fazer com que os resultados pareçam mais significativos.

Referências

  1. Bartlett, Tom (17 de março de 2017). «Spoiled Science». The Chronicle of Higher Education. Consultado em 19 de outubro de 2017 
  2. a b Heathers, James (23 de maio de 2016). «The GRIM test—a method for evaluating published research.». Medium. Consultado em 19 de outubro de 2017 
  3. Brown, Nicholas J. L.; Heathers, James A. J. (18 de outubro de 2016). «The GRIM Test: A Simple Technique Detects Numerous Anomalies in the Reporting of Results in Psychology» (PDF). Social Psychological and Personality Science. 8 (4): 363–369. doi:10.1177/1948550616673876 
  4. Omnes Res. «GRIM Plot (mean: 3.48, size: 20)». PrePubMed. Consultado em 19 de outubro de 2017