P値計算ツール

p-value
次へ

テスト統計量(z、tまたはカイ二乗)に、該当する自由度を指定すると、計算ツールは片側または両側の仮説に対するp値を返します。これは統計学の基礎課題やA/Bテストで欠かせないツールです。データからテスト統計量を得た後、この値を帰無仮説のもとで少なくとも同等の極端な結果が観察される確率に変換します。

p値はどのように計算されるか

  1. 1

    分布を選択してください

    大規模サンプルの平均値および割合には「z」、標準偏差が知られている小規模サンプルの平均値には「t」、適合度や分割表の分析にはカイ二乗検定を用いる。

  2. 2

    統計値を入力してください

    データから得られた観測値のz値、t値またはカイ二乗値です。

  3. 3

    両側か片側かを選ぶ

    「どちらの方向でも異なる」には両側検定を、「より大きい」または「小さい」といった方向性仮説には片側検定を用いる。

  4. 4

    p値を読む

    統計値を超える分布の尾部にある領域

参照テーブル(両側)

統計量 p値 解釈
z = 1.64 0.10 境界値
z = 1.96 0.05 クラシック閾値
z = 2.58 0.01 強力
z = 3.29 0.001 非常に強い
t(20) = 2.09 0.05 df = 20 の場合に相当する約 1.96
t(5) = 2.57 0.05 小規模のサンプルでは臨界値が上昇する

p値の意味

p値とは、帰無仮説が真であると仮定した場合に、観測されたテスト統計量と同等またはそれ以上極端な結果が得られる確率を示すものです。p値が小さい場合、データは帰無仮説の下ではほとんど現れないことから、帰無仮説自体が誤っているか、あるいは観察結果に不運が働いたと考えられます。

p値が意味するものではない点

  • これは、帰無仮説が真である確率ではありません。
  • これは、その結果を再現する確率ではありません。
  • これは効果量そのものではありません。サンプルサイズが十分に大きければ、ごくわずかで意味のない効果でもp < 0.001となることがあります。
  • これは「実在するもの」と「非実在するもの」を区別する基準ではありません。0.05は法則ではなく、単なる慣習にすぎません。

片側検定と両側検定の選び方

データを確認する前に明確な方向性仮説(自薬は害を及ぼすのではなくのみ有益である)が設定されている場合に限り、片側検定を使用してください。それ以外の場合は両側検定を採用してください。事後にp値を0.05未満に抑えるために片側検定に切り替えるのは「pハッキング」であり、推論の信頼性を損ないます。

よくある落とし穴

  • 多重比較。 20回の検定を実施すると、偶然にp < 0.05となるケースが1件現れることが予想される。Bonferroni法またはBenjamini–Hochberg法を用いる。
  • Nが大きいにもかかわらず効果は微々たる。 数百万のサンプルでは、わずか0.1%の差異も有意と判定される。常に効果量とp値を併記する。
  • 二値化。 「有意 vs 無意味」では情報が失われる。p = 0.048 および p = 0.052 は実質的に同等の証拠強度に相当する。
  • カイ二乗検定の誤解。 p値は統計量および自由度の両方に依存する関数である。カイ二乗値が10の場合、df=2では有意(p=0.0067)となるが、df=20では有意ではない(p=0.97)。

よくある質問

一般的には0.05が用いられているが、閾値は誤りが生じる場合のコストに合致しているべきである。医学試験ではしばしば0.01またはそれ以上の基準が採用される。一部の分野ではデフォルトとして0.005を提案している。

より大きなサンプルでは標準誤差が小さくなり、ごくわずかな効果も「有意」と見なされるようになります。常に効果量(コーエンのd、オッズ比、原始差)をp値の横に記載してください。

デフォルトでは両側検定が設定されています。片側検定は、データ収集前に確実な方向性仮説が設定されている場合にのみ適切です。

zは集団の標準偏差を既知である場合に使用されます(まれに);tはサンプルからそれを推定する際に用いられます。大規模なサンプルでは、両者は収束します。

これは、データが帰無仮説の下では異常となることを意味します。単一のp値よりも、再現性、効果量、および作用メカニズムの方が重要です。

関連ツール

このツールは他の言語でも利用できます