p値とは
p値とは、「本当は差や効果がない」と仮定したときに、実際に観測されたデータと同じか、それ以上に極端な結果が偶然に得られる確率のことです。
平たく言えば「もし効果がゼロだったとしたら、こんな結果がたまたま出る可能性はどのくらいか」を表す数字です。p値が小さいほど、「効果がゼロ」という前提のもとでは起こりにくい結果が出ている、つまり「偶然だけでは説明しにくい」ということになります。
pは英語の probability（確率）の頭文字です。統計的有意差の判定に使われ、A/Bテストや調査の分析結果で目にすることの多い数字です。
仕組み・読み方
p値を使った判断は、次のような流れで行います。
- 「差がない」「効果がない」という仮説（帰無仮説）を置く
- その仮説が正しいとした場合に、観測された結果以上に極端な結果が出る確率（p値）を計算する
- p値をあらかじめ決めた基準（有意水準）と比べる
- p値が基準より小さければ「差がないという仮説は考えにくい」として、有意差ありと判断する
有意水準には慣習的に0.05がよく使われますが、これは絶対的な決まりではなく、誤った判断をしたときの損失の大きさに応じて決めるものです。
| p値の例 | 読み方 | 判断の考え方 |
|---|---|---|
| 0.01 | 効果がないとすれば、かなり起こりにくい結果 | 偶然とは言いにくい。差の大きさも確認して判断する |
| 0.04 | 基準0.05をわずかに下回る | 有意だが、境界に近いので過信しない |
| 0.20 | 効果がなくても十分起こりうる結果 | 差があるとは言えない。サンプル不足の可能性も考える |
p値と一緒に見るべきものは次のとおりです。
- 差の大きさ（効果量）：事業上意味のある大きさかどうか
- 信頼区間：差がどの範囲にありそうか
- サンプル数：判断に十分なデータが集まっているか
実務での使い方・具体例
架空の家計簿アプリで、プッシュ通知の文面を二種類用意し、翌日の起動率を比べるテストを行ったとします。テスト前に「主な指標は翌日起動率」「有意水準は0.05」「各グループの必要人数」を決めました。
期間終了後の結果は次のとおりでした。
- 新しい文面の方が翌日起動率がわずかに高かった
- p値は0.03で、基準を下回った
- 差の信頼区間は「ほぼゼロに近い小さな差」から「中程度の差」までの幅があった
チームは「偶然とは言いにくいが、効果の大きさにはまだ幅がある」と解釈しました。新しい文面への切り替えは手間が小さいため採用を決めつつ、継続率への影響は引き続き追いかけることにしました。
別のテストでは、p値が0.30でした。この場合は「新しい施策に効果がない」と断定するのではなく、「今回のデータでは差があるとは言えなかった」と報告し、差が小さすぎて検出できなかった可能性も含めて次の打ち手を議論しました。
結果を報告するときのチェック項目
- 事前に決めた主要指標と有意水準で判断しているか
- テストを途中で止めたり、期間を後から延ばしたりしていないか
- 差の大きさと信頼区間を一緒に示しているか
- 複数の指標を見ている場合、偶然の当たりを拾っていないか
よくある誤解と注意点
- p値は「効果がない確率」ではない：p値0.03は「効果がない確率が3パーセント」という意味ではありません。あくまで「効果がないと仮定した場合に、この結果以上が出る確率」です。
- p値が小さい＝効果が大きい、ではない：サンプルが多ければ、ごく小さな差でもp値は小さくなります。
- 0.05を境に白黒をつけすぎない：0.049と0.051に本質的な違いはほとんどありません。境界付近の結果は、追加の検証や他の情報と合わせて判断します。基準をわずかに上回ったからといって、すぐに施策を捨てる必要もありません。
- 分析を何度もやり直して小さいp値を探さない：切り口や期間を変えて何度も検定すると、偶然に小さなp値が出ます。これは判断を誤らせる典型的な原因です。
- p値だけで意思決定しない：施策の費用、戻しやすさ、他の事業目標との整合も含めて判断します。
- 社内の共通理解をつくる：p値の意味が人によって違うと、同じ結果から正反対の結論が出ます。テスト結果の報告書には、p値の意味を一行で添えておくと議論がかみ合いやすくなります。
関連用語
- 統計的有意差：p値を使って判断する「偶然とは言いにくい差」
- 信頼区間：推定値の幅を示し、p値と合わせて見るべき指標
- 多変量テスト：複数要素を同時に比べるテスト
- 回帰分析：係数の確かさを見る際にもp値が使われる手法
関連記事：A/Bテストの設計：サンプル数・期間・判定基準の決め方の基本
Otsumuに相談できること
p値は便利な道具ですが、テストの設計や結果の伝え方を誤ると、かえって判断を誤らせます。OtsumuのKPI改善コンサルティングでは、検証すべき仮説の選び方から、テストの設計、結果の解釈と意思決定の進め方までを、事業の文脈に合わせて支援します。
テスト結果の読み方に迷っている、社内で判断基準をそろえたいといったご相談も歓迎です。まずは30分の無料相談でお声がけください。
執筆：Otsumu株式会社 ／ 編集日 2026.10.01