Jaká je skutečná chybovost hladiny významnosti p < 0,05 a proč nepoužívat označení statisticky významný/nevýznamný rozdíl
Abstrakt
Hodnota p poskytuje pouze omezené in formace s vysokou chybovostí v závislosti na předchozí pravděpodobnosti hypotézy. Například hodnota p mezi 0,03 až 0,05 sama o sobě nabízí pouze slabý důkaz proti nulové hypotéze.
Podobně ale ani relativně vysoká hodnota p nemusí znamenat důkaz ve prospěch nulové hypotézy; z těchto důvodů by analýza dat neměla končit výpočtem p hodnoty, pokud jsou vhodné a proveditelné jiné přístupy (1). 1. Hodnota p je důležitá. Čím nižší je hodnota p, tím nižší je chybovost, hodnota p blízko 0,05 má chybovost 25-50 %.
Hodnota p = 0,0027 odpovídá chybovosti 4,5 %, což se blíží míře, kterou mnozí mylně připisují hodnotě p = 0,05. Nižší hodnota p znamená silnější důkaz pro odmítnutí nulové hypotézy.
Hodnota p poblíž 0,05 naznačuje jen to, že výsledek stojí za další pohled, ale teprve, když se dostane k 0,001, bude šance na přijatelnou míru falešné pozitivity. 2. Replikace výsledků.
Původní Fischerova myšlenka byla, že hodnoty p jsou jen jednou částí procesu, který zahrnuje experimentování, statistickou analýzu a replikaci pro validní vědecké závěry. Je nepravděpodobné, že by jediná studie, zejména pokud se hodnota p blíží 0,05, snížila míru falešné pozitivity na přijatelnou úroveň.
Opakované studie vedou k dostatečně nízké chybovosti. Při hodnocení replikačních studií je však nezbytné zahrnout jak významné, tak nevýznamné studie, a ne vybrat pouze významné studie.
Přesvědčivé prokázání hypotézy jedinou studií je velmi nepravděpodobné. 3. Na velikosti efektu záleží.
Je třeba se zaměřit nejen na hodnotu p, ale pozornost musí být věnována i velikosti efektu. Jen proto, že je efekt statisticky významný, nemusí být smysluplný v reálném světě.
Hodnota p ani neukazuje přesnost odhadované velikosti efektu. 4. Na alternativní hypotéze záleží.
Máme tendenci si myslet, že ekvivalentní hodnoty p z různých studií poskytují stejnou podporu pro alternativní hypotézu. Výzkum ukazuje, že věrohodnost alternativní hypotézy výrazně ovlivňuje míru falešně pozitivních výsledků.
Například vysoce věrohodná alternativní hypotéza a hodnota p = 0,05 jsou spojeny s chybovostí p kolem 12 %, zatímco nepravděpodobná alternativa je spojena s mírou chybovosti kolem 76 %. 5. Odborná znalost je zásadní.
Vědecký úsudek o věrohodnosti hypotéz, výsledcích podobných studií, navrhovaných mechanismech, správném experimentálním designu jsou nepostradatelné pro transformaci statistiky z čísel na smysluplná a důvěryhodná zjištění (13, 14, 15).