Os testes cerebrais online são confiáveis?

O que confiabilidade quer dizer, numa imagem

Imagine 50 pessoas que fazem o mesmo teste hoje e de novo na semana que vem. Se quem foi bem hoje também vai bem na semana que vem, e quem foi mal continua mal, o teste é confiável. Os pesquisadores resumem isso com um coeficiente teste reteste, muitas vezes uma correlação intraclasse, que vai de 0 para puro ruído a 1 para uma classificação perfeitamente estável.

Confiabilidade não é precisão no sentido do dia a dia. Um teste pode ser muito confiável e medir algo bem estreito. Mas um teste que não é confiável não diz muita coisa sobre uma pessoa, porque o seu resultado mudaria se você fizesse de novo amanhã.

Confiabilidade por tarefa

Os números abaixo vêm de estudos teste reteste publicados. Nem todos usam o mesmo formato dos jogos deste site, e é por isso que a tarefa parente aparece nomeada.

Tarefa	Confiabilidade	Condições
Tempo de reação simples, laboratório	0,83	48 adultos, três sessões semanais (Woods et al., 2015b)
Tempo de reação simples, celulares pessoais	0,83	55 adultos, três sessões semanais (Van Patten et al., 2021)
Erros de comissão no go/no-go	0,76	Laboratório, duas sessões (Hedge et al., 2018)
Controle de impulsos no celular	0,68 a 0,80	Tempos, depois resultado composto (Van Patten et al., 2021)
Memória de trabalho no celular	0,88	Resultado composto, três semanas (Van Patten et al., 2021)
Trail Making A, computadorizado	0,87	50 adultos, três sessões (Woods et al., 2015c)
Span dos blocos de Corsi, computadorizado	0,85	Adultos jovens, 20 minutos de intervalo (Morawietz et al., 2024)
Custo Stroop	0,60 e 0,66	Dois estudos de laboratório (Hedge et al., 2018)
Custo flanker	0,40 e 0,57	Dois estudos de laboratório (Hedge et al., 2018)

O paradoxo da confiabilidade

Os efeitos Stroop e flanker estão entre os resultados mais sólidos da psicologia. Quase todo mundo os mostra. E esse é justamente o problema para medir uma pessoa. Quando todo mundo tem quase o mesmo efeito, as diferenças entre as pessoas são pequenas comparadas com o ruído do dia a dia, e a classificação não se mantém de uma sessão para outra.

Hedge, Powell e Sumner testaram sete tarefas clássicas e encontraram confiabilidades de 0 a 0,82, surpreendentemente baixas para tarefas tão usadas, e mostraram que isso vinha da pouca variação entre as pessoas, e não de uma medição ruim (Hedge et al., 2018). A lição para um app que dá notas é simples. Pontue o que fica estável e deixe o resto como jogo.

Teste de reaçãoJogue o teste, 20 s, sem conta nem cookie

O seu aparelho muda o seu resultado

Os testes online rodam num hardware que ninguém controla. Telas sensíveis ao toque convencionais acrescentam de 50 a 200 ms de latência (Van Patten et al., 2021). Entre 59.587 visitantes do TestMyBrain.org, quem usava celular, principalmente Android, foi mais lento nos testes de tempo de reação do que quem usava computador, mesmo levando em conta idade, gênero e escolaridade (Passell et al., 2021). Um resultado só se compara com resultados feitos em aparelhos parecidos.

A prática infla as primeiras sessões

Os resultados sobem quando você repete um teste (Scharfen et al., 2018a). Em 68 estudos de testes de memória de trabalho, o ganho da primeira para a segunda sessão foi de cerca de um quarto de desvio padrão, e os resultados continuaram subindo até a quarta sessão (Scharfen et al., 2018b). Um grande salto depois das primeiras partidas é, na maior parte, o teste ficando familiar.

Tirar a média ajuda muito. Em 219 adultos que fizeram testes curtos no smartphone muitas vezes, a média dos resultados chegou a uma confiabilidade de 0,97 ou mais, comparável às avaliações de laboratório (Sliwinski et al., 2018).

Como a Headgame leva tudo isso em conta

A carta só pontua as tarefas cuja confiabilidade, ou a de uma tarefa parente próxima, é reconhecidamente boa, o tempo de reação simples, a grade de Schulte, a memória de sequência, o teste do chimpanzé e o go/no-go. Stroop e flanker continuam como jogos livres. Cada atributo tira a média das suas duas melhores sessões da semana, nunca de uma única manhã, e o app corrige o tipo de tela. O método completo está na página de ciência.