統計と嘘

　
　ここしばらく、実験データの解析で悩みに悩んでいる。


　私の研究は今のところ行動実験が中心。生きている動物が相手なので、みみさんのところと違って、実験データは all or none という訳にはいかない。そこでどうするかというと、「統計」という手法を用いる。簡単に言えば、

「〜だ」

ではなく、

「〜である可能性が高い」

という結論を導き出すことになる。

　我々の分野では５％というのが一つの基準になる。ある統計計算により、２種類のデータ（例えば投薬前と後の運動量）が

「元々同じグループ（同じ運動量）から取り出されたデータである可能性が５％未満」

であるとき、この２種類のデータは統計的に異なる、つまり違うものである可能性が高い（投薬前後で運動量が異なる⇒薬の効果がある）という結論になる。



　一応断っておくが、「あるある〜」とか「おもいっきり〜」なんかと一緒にされると困る。捏造とかなんとかいう以前に、あれは科学でも統計でもなんでもない。あの手の番組で、まともな統計手法を用いているものなんて見たことがない。ただ単に「例」を挙げているだけ。だから、私はあれが捏造とは思っていない。そんなレベルの高い話ではないと思う。聞く方が

「効果がある（人もいました）！」

と言葉を補う必要がある。

「あー、効果のある人『も』いるんだ。じゃあ、私にも効果ある『かも』」

と思う人はやってみればよいだけの話。



　統計計算にはさまざまな手法があり、データの種類によって適切なものを選ぶ必要がある。昔、日経サイエンスという雑誌で特集していた統計の記事にはこんな話があった。


1. 小学４−６年生を対象に算数のテストを行なったところ、身長とテストの点数に正の相関が得られた。つまり、「背が高い子ほど点数が高い」傾向があるということがわかった。

⇒「チビはバカ」である可能性が高い！

2. フロリダ州はアメリカの他の州と比べて、心臓病で亡くなる人の割合が突出して高いことがわかった。

⇒フロリダの食生活・環境は心臓病に良くない可能性大！


　ある手法を用いて「統計的に」得られたいずれの結論も、実は間違っている。


　1. は、実は全員同じテストを受けていた。一見公平なように思えるが、同じテストならば、学年が上の子、つまり平均して背が高い子の方が点数が良いに決まっている。

　2. は、因果関係が逆。実は「フロリダの環境が心臓病に良い」から、心臓病患者がこぞってフロリダ州に移り住み、結果として心臓病で亡くなる人の割合が極端に大きくなっただけのこと。

　まあ、自分で言うのもなんだが、統計なんてある意味非常にトリッキーなものである。やりようによっては、こんなふうにどんな結論でも導き出せる。だからこそ、誰もが納得する手法を正しく選択しなければならない。



　で、自分の研究。データを一見して推測できる結果が、どうしても統計的にうまく導き出せない。使っている統計ソフトのプログラムになんかバグがあるに違いない。プログラムのバグ探しは大変なんだよな（-＿-#

　・・・と思っていたら、実はまさに統計手法の選択ミスであるらしいことが判明。プログラムのバグじゃなくて、私自身がバグじゃん。

　どあほ（-o-）