La Sociedad Española de Psicología Experimental (SEPEX) ha concedido el Premio a la Mejor Publicación Científica del año 2022 en su modalidad Jóvenes, a Pablo Solana y a su director de tesis Julio Santiago, investigadores del Centro de Investigación Mente Cerebro y Comportamiento (CIMCYC) de la Universidad de Granada, por un estudio publicado en la prestigiosa revista Neuroscience and Biobehavioral Reviews. 

En dicho trabajo, los investigadores evaluaron la fiabilidad de los hallazgos de los estudios sobre la implicación del sistema motor en la comprensión del lenguaje. La SEPEX procedió a una revisión de los tres trabajos finalistas por dos investigadoras y un investigador externo expertos en el asunto tratado en cada uno de los estudios, que tuvieron que realizar valoraciones cuantitativas y cualitativas de cada publicación. 

Valoración del jurado

La valoración del jurado sobre el trabajo concluye que el premio es para los investigadores granadinos “por tratarse de un excelente trabajo en el que se realiza un meta-análisis de 43 artículos con 47 experimentos totales realizados con técnicas de neuroestimulación (TMS y tDCS) sobre un tema de gran relevancia e interés en el ámbito de la Neurociencia Cognitiva del Lenguaje, como es la hipótesis del 'embodiment' en la comprensión del lenguaje. En este trabajo es destacable la metodología utilizada, ya que se aprecia un excelente nivel en el cuidado y precisión con el que se recuperan los datos de cada uno de los estudios incluidos en el meta-análisis siendo extremadamente transparentes en la exposición de los pasos realizados. Además, los datos son analizados mediante una nueva herramienta estadística (i.e. análisis de la curva-p), que dota a los resultados de una gran calidad y fiabilidad. El artículo propone además una serie de interesantes recomendaciones metodológicas para mejorar la fiabilidad de los resultados de posibles estudios futuros”. 

Los mecanismos mentales y cerebrales que subyacen a la comprensión del lenguaje siguen siendo foco de debate. Según las teorías de la cognición corporeizada, el cuerpo y las experiencias motoras juegan un papel crucial en este proceso. De esta idea se deduce que las regiones motoras del cerebro, aquellas que permiten mover nuestro cuerpo, también deberían estar implicadas en comprender el lenguaje. 

Resultados sorprendentes

Los investigadores han querido analizar la fiabilidad de estas ideas y, para responder a esta pregunta, Solana y Santiago localizaron los 43 estudios que usan estimulación cerebral sobre regiones motoras para evaluar comprensión del lenguaje y sometieron sus resultados a una técnica conocida como análisis de la curva p. Este método permite estimar cuál es la potencia estadística de los estudios analizados, es decir, cuál es la probabilidad de que, si repitiéramos exactamente igual esos estudios, volvieran a proporcionar los mismos resultados y así, apoyar la teoría. Sorprendentemente, la potencia estimada fue menor de 30%, cuando lo recomendable es un mínimo de 80%. En otras palabras: sólo el 30% de esos estudios replicarían idénticos resultados si se volviesen a repetir. 

Dada esta potencia, la literatura debería estar plagada de estudios que encuentran resultados no significativos (en concreto, un 70% deberían no encontrar ningún efecto de la estimulación), pero la tasa observada es sólo de un 20%. Esto sugiere que los hallazgos de estos estudios son “demasiado buenos para ser verdad” y que existe una alta sospecha de que esta literatura contenga un importante sesgo de publicación. Es decir, que se tienden a publicar sólo los resultados que favorecen la teoría. 

Otro trabajo que lo apoya

Estas conclusiones han sido además apoyadas por otro estudio recién publicado por los mismos investigadores en la revista Psicológica, donde se reanalizaron los resultados anteriores usando una variante más moderna de la misma técnica, el  análisis de la curva z. Esta técnica tiene dos grandes ventajas respecto a la versión usada en el estudio previo: da lugar a resultados menos sesgados y permite cuantificar el sesgo de publicación. 

Los resultados mostraron un panorama incluso más descorazonador. La tasa esperada de replicación fue de tan solo un 20%. Además, se estimó que por cada resultado positivo publicado, existen entre 6 y 10 resultados negativos no publicados. 

Según estos dos trabajos, los investigadores concluyeron que los resultados de los estudios de estimulación cerebral que apoyan el papel del sistema motor en la comprensión del lenguaje no son lo suficientemente confiables. Los autores recomiendan tener cuidado a la hora de extraer conclusiones de ellos, así como implementar mejoras metodológicas en futuros estudios, como el uso de tamaños muestrales mayores y de pre-registros, así como evitar el sesgo de considerar que sólo los estudios con resultados significativos son interesantes.