Eterogeneità in meta-analisi: cos'è e come si misura

I risultati degli studi di una meta-analisi non sono mai identici. In parte è questione di caso: ogni studio usa un campione diverso e il suo risultato è sempre approssimato. In parte, però, gli studi differiscono davvero, per esempio per tipo di partecipanti, intervento, misure o disegno di ricerca. Quest'ultima parte si chiama eterogeneità.

Conta perché, se gli effetti reali sono molto diversi tra loro, un solo numero, l'effect size globale, racconta poco. Capire perché gli studi differiscono è spesso uno dei risultati più interessanti di una meta-analisi.

Come si misura

Esistono quattro strumenti, e ciascuno risponde a una domanda diversa.

• Q è un test: verifica se le differenze tra gli studi sono più grandi di quelle che ci aspetteremmo per solo caso. Con pochi studi o studi piccoli ha poca potenza, quindi un risultato non significativo non dimostra che l'eterogeneità non ci sia.
• τ² e τ dicono di quanto differiscono gli effetti reali. τ è espresso nella stessa unità dell'effect size, quindi è facile da interpretare.
• I² dice quale percentuale delle differenze osservate è dovuta a differenze reali tra gli studi e non al caso. È la misura più usata perché è semplice da leggere.
• Il prediction interval indica dove probabilmente cadrà l'effetto di un nuovo studio simile a quelli inclusi. A differenza dell'intervallo di confidenza, che descrive l'incertezza sulla media, descrive quanto gli effetti variano da uno studio all'altro.

Attenzione a I²

I² è una percentuale, quindi non dice quanto sono grandi le differenze tra gli studi (Borenstein et al., 2017). Con studi molto precisi può essere alto anche se le differenze sono minime, e con studi poco precisi può essere basso anche se sono notevoli. Per questo le etichette diffuse di "bassa", "moderata" e "alta" eterogeneità, associate a circa 25%, 50% e 75%, non andrebbero usate.

Per descrivere quanto gli effetti differiscono conviene riportare anche τ e un prediction interval.

Con pochi studi

Quando gli studi sono pochi, tutte queste misure sono molto incerte: meglio non fidarsi di soglie semplici e interpretarle con cautela. Vedi anche Quanti studi servono.

Che cosa fare

• Riportarla: indicare Q, τ e I², con un prediction interval, e non solo l'effect size globale.
• Cercare le cause: se gli studi sono abbastanza, si può verificare se le differenze dipendono da caratteristiche degli studi, con le analisi dei sottogruppi e la meta-regressione.
• Non affidarsi al modello: il random-effects model tiene conto dell'eterogeneità, ma non la elimina né la spiega.

Per approfondire

Le formule e la discussione completa sono nelle pagine Heterogeneity e Methods and formulas del sito principale. Per studiare le cause dell'eterogeneità: moderatori e meta-regressione.

Riferimenti

• Borenstein, M., Higgins, J. P. T., Hedges, L. V., & Rothstein, H. R. (2017). Basics of meta-analysis: I² is not an absolute measure of heterogeneity. Research Synthesis Methods, 8, 5–18. https://doi.org/10.1002/jrsm.1230
• Higgins, J. P. T., & Thompson, S. G. (2002). Quantifying heterogeneity in a meta-analysis. Statistics in Medicine, 21, 1539–1558. https://doi.org/10.1002/sim.1186
• Higgins, J. P. T., Thompson, S. G., & Spiegelhalter, D. J. (2009). A re-evaluation of random-effects meta-analysis. Journal of the Royal Statistical Society: Series A, 172, 137–159. https://doi.org/10.1111/j.1467-985X.2008.00552.x