P値について

多くの統計解析の結果はP値と共に報告されます。『P値とは「もしある事象がまったく偶然におこりうる時、その観察された値と同等か、もしくはより極端な結果が得られる確率」ということ』（平松正行・著「GraphPad Prism5による生物統計学入門」、カットシステム、2010年3月、８ページ）であり、仮説検定においてP値は帰無仮説が成立する確率を指します。

 

Prism5には正確なP値を計算/出力する機能を付加しておりません。P値についてGraphPad Software社の考え方と、P値の求め方は下記の通りです。一旦優位性に関する閾値（通常0.05)を設定すると、すべての結果が「統計的に有意」かそうでないかのどちらかに区分けされます。これに固執し、受け入れ可能な結論は有意か有意でないかのいずれかであるという考えや、有意性のレベルを表すのに形容詞や*を使用すべきではないという意見もあります。しかし、"very significant"や"extremely significant"というような形容詞付の表現が好まれるのも事実です。Prismでは、下記に示すようにこのアプローチを使用しています。結果の表記に用いる場合には、それぞれの意味を凡例で明示するようにしてください。

 

 

P値について統計ガイドpg31-32を抜粋しますのでご参照下さい。

P値の意味

今、異なる薬品を投与した２つの動物サンプルからデータを収集したとします。個々の動物の血漿中の酵素を計測した結果、平均値は異なっていました。それが投与した薬品によるものかどうか、すなわち２つの集団は異なる平均値を持っているのかどうかが問題になります。

 

異なるサンプル平均が観測されたというだけでは、２つの集団の平均値が異なっていたと結論付ける上での説得力に欠けます。２つの集団は同じ平均値を有していた（すなわち薬品は測定対象の酵素に何の影響も与えなかった）が、観測されたサンプル平均の違いはたまたまの偶然で起こったということもあり得ます。観測された違いが真の違いによるものか、単なるサンプリングの過程で生じた偶然か、確認する手立てはありません。やれることと言えば確率を計算することだけです。

 

最初のステップは帰無仮説、すなわち薬品は計測に何の影響も与えなかったという仮説を立てることです。帰無仮説が真であるとすれば、この実験で観察された結果と同じくらい極端な結果、または非常に極端な結果が得られる確率(probability）がP値になります。P値は百分率ではなく、比率として0から1の範囲で報告され、次のような質問への答えとなります：

このサイズの実験において、仮に母集団が同一の平均値を有していたとして、少なくとも観測された程度のサンプル平均の差を生ずる確率はどれだけか？

P値に対する誤解

多くの人はP 値の意味を誤解しています。今、２つの平均値を比較し、0.03 というP 値を得たとしましょう。
P 値の正しい定義は次のとおりです。
1.) ２つの集団の平均が同一であったとしても（帰無仮説が真だとしても）、観測された程度の差を生じる確率は3%ほどある。
2.) 同一の集団からランダムなサンプリングを行った場合、97%の実験では観測されたものより小さい差を生ずるであろうし、3%の実験においては観測されたものより大きな差が生じるであろう。

誤った解釈
よく見られる誤りは「観測された差が集団間の真の違いを反映している確率は97%であり、差が偶然によるものである確率は3%である。」という解釈です。

正しい定義との違いが鮮明でないという場合には Bayesian perspective をお読みください。

片側 P値、両側 P値

２つのグループを比較する場合、片側P 値（one-tail/one-sided P values）と両側P 値（twotail/two-sided P values）の違いに注意する必要があります。
片側P 値にしろ両側P 値にしろ同一の帰無仮説 - ２つの集団には差がなく、サンプル平均で観測された差は偶然によるものである - に基づいています。
Note: この例は２つのグループの平均値を比較する対応のないt 検定（unpaired t test）に対するものです。同様の考え方は他の統計検定にも適用できます。

両側P 値
両側P 値は次の設問に答えるものです。
帰無仮説が真であるとして、ランダムに選択されたサンプルが観測されただけ（あるいはそれ以上の）開きのある平均値を持つ確率はどの程度か。

 

片側P 値
片側P 値を解釈するためには、データ収集に先立ちどちらのグループが大きな平均値を持つかが言えなくてはなりません。片側P 値は次の設問に答えるものです。帰無仮説が真であるとして、ランダムに選択されたサンプルのうち指定された側が観測されただけ（あるいはそれ以上の）開きのある平均値を持つ確率はどの程度か。
過去のデータなり物理的制約なり、あるいは常識なりによって、差がどちらの方向に生じるかが言える場合にのみ片側P 値は有効です。ここで問題となるのは差の存在を期待できるかどうかではありません。増加なり減少なりを同じように解釈できるかどうかです。
片側P 値は次の２つの条件が共に成立する場合のみ選択してください。

１．どちらのグループが大きい平均値なり比率なりを持つかがデータ収集以前に予測できること

２．仮に想定外の方がより大きな平均値を持った場合でも、それは偶然によってもたらされたものであり、その差は “統計的には有為でない “と言えること。

 

 

統計ガイドpg33-35に「両側P値を使用する」「小さなP値の解釈法」「大きなP値の解釈法」「信頼区間を用いてP 値を解釈する」については記載されておりますので、そちらも併せてご参照下さい。