有意: Interdisciplinary

2009年2月11日 (水)

有意

ほぼ、ちがやまるさんへの私信です。

先日紹介したこの本で、フィッシャーが「有意」という事について語っている論文の一説が引用されていました。以下引用（P123・124）。

　生物学的方法によって生命体の研究をする際には、統計的有意性検定は不可欠である。その役割は、研究・検出しようとしている原因によってではなく、われわれがコントロールできない多くの複雑な状況から生じた偶然の出来事に惑わされないようにすることにある。もし見当をつけているものが真の原因でないために、めったに生じ得ないという場合は、その観測結果は有意であると判断される。慣例として、偶然によって生じるのが二〇回の試行のうち一回未満という程度であれば、結果は有意であると判断する。研究の実務に携わっている者にとってこれは恣意的だが、便利な有意水準である。だからといって二〇回に一回判断を誤るというわけではない。有意性検定は何を無視したらよいのかを教えてくれるだけにすぎない。言い換えれば、すべての実験で有意な結果が得られないということだ。かなり高い頻度で有意な結果が得られるような実験計画を知っている場合、現象は実験的に論証可能であると主張するにとどめたほうがよい。そのため、再現する方法がわからない有意な結果がぽつんとあっても、これはあらためて解明されるまで未決定のままなのだ。

訳の問題なのか、私が文脈を捉え切れていない、知識不足で補えない、からなのかは判りませんが（後者だと思いますけど）、ちょっと私には、この部分の意味が掴み切れなかったりします。

それはともかくとして、これが、フィッシャーが有意水準についてどういう考えだったか、というのを示す一つの資料として、参考になれば・・。

出典↓

原典：Fisher, R. A. (1929) "The Statistical Method in Psychical Research, " Proceedings of the Society for Psychical Research, 39 p. 112.

これかな？⇒Adelaide Research and Scholarship: The Statistical Method in Psychical Research.

2009年2月11日 (水) 科学論 | 固定リンク
Tweet

「科学論」カテゴリの記事

メタスパイラル(2011.12.14)
主観、主観、ただ主観(2011.12.12)
公衆衛生(2011.12.07)
ひとまずまとめ――患者調査において、「宮城県の一部地域及び福島県の全域について調査を行わない」事について(2011.12.06)
科学コミュニケーション――科学語での会話(2011.12.04)

資料のご紹介有難うございました。引用の論文(?)は「I」でリンク先は「II」のようですね。残念ながらアデレード大学のサイトでは「I」は見つからないようです。「II」は超能力を検証するのに応用されていた、という歴史的意義のために採録されているのでしょうか。
TAKESANさんが引用された部分は、実験計画による検証が真の差を見逃す場合のあることを述べているように見えます。歴史的な興味からは、「二〇回の試行のうち一回未満という程度であれば、結果は有意であると判断する」というのが「慣例」になっていたという証拠として使えるかどうか、というあたりに注目されるでしょうか。

投稿: ちがやまる | 2009年2月11日 (水) 05:44

誤訳もあるし、元の英文が悪文だと思います。
大体、科学者は統計ができる人と英語ができる人に分かれるといいますし。

「有意性検定は何を無視したらよいのかを教えてくれるだけにすぎない。言い換えれば、すべての実験で有意な結果が得られないということだ。」
　の部分はたぶん誤訳で、正しくは「有意性検定は何を無視したらよいか、つまり有意な結果が得られなかったすべての実験を教えてくれるだけにすぎない」かと思います。文法的にも、文脈的にも。

内容はちがやまるさんがおっしゃる通りだと思います。
有意検定は、明らかに無視すべきものを示しているだけで、統計的に有意だからといってその説が支持されるわけではない。だからいくら有意差が出そうな実験でも「実験的に示せる」程度の表現にとどめるべきで、一回有意差が出たからといってはっきりしたことは何もいえんのだよ、てな意味かと思います。

私も以前から、血液型診断なんかについて、このことをちょいちょい書いてて、ここやkikulogなんかで有意差を示す実験の有無の話が出ることがありますが、そもそも有意差を示す論文や実験が一つや二つあっただけでは科学的根拠があるとか証明されたとはいえないんじゃないと思っています。

投稿: blupy | 2009年2月11日 (水) 06:51

>慣例として、偶然によって生じるのが二〇回の試行のうち一回未満という程度であれば、結果は有意であると判断する。研究の実務に携わっている者にとってこれは恣意的だが、便利な有意水準である。だからといって二〇回に一回判断を誤るというわけではない。有意性検定は何を無視したらよいのかを教えてくれるだけにすぎない。

ここが、重要だと思います。帰無仮説が正しいと仮定した場合に、或る実験結果が得られる確率が二〇回の試行のうち一回未満であれば、有意と判断すると決めただけの話なんですね。判断を誤る確率が二〇回に一回でもなければ、判断が正しい確率が二〇回に一九回でもないわけですが、どうもこのあたりを誤解しやすいような気がします。

帰無仮説が正しい場合、その結果が得られる確率（コインの表が出る確率が0.5の場合に、２回中１回表が出る確率）

その結果が得られた場合に、帰無仮説が正しい確率（２回中１回表が出た場合に、コインの表が出る確率が0.5である確率）

これは全く違いますが、有意水準５％で検定したら有意だったというと、帰無仮説が間違っている確率は５％、あるいは主張したい仮説が正しい確率は９５％であるという誤った印象を与えるような気がします。

投稿: zorori | 2009年2月11日 (水) 07:11

皆さん、今日は。

フィッシャーが、5％有意水準を一つの基準と見ていて、それが慣例で恣意的だと看做していた、と一応言えるかな、という感じでしょうか。

ちなみに、「恣意的」というと、辞書的には自分勝手とか気ままというように、いかにも科学にそぐわない印象ですが、私は、言語学で言うような、社会的な約束によって決められた、という意味合いで解釈します。

他にも言及した論文があるかも知れませんね。それを参照すれば、また情報が補えると思います。

資料として、The R.A. Fisher Digital Archive のページを貼っておきます⇒http://digital.library.adelaide.edu.au/coll/special/fisher/

有意というのは、検定統計量の実現値が帰無分布（帰無仮説が正しい場合の検定統計量の分布）のどこに落ちるか、という話ですよね。それが臨界値と比べてどうか、という。p 値で言えば、p 値より極端な値を取る確率が有意水準より小さければ、有意と看做す訳ですね。

ここら辺、FSMさんが掲示板で、二項分布の例を用いて根気強く書いておられたのですが、結果は…。

投稿: TAKESAN | 2009年2月11日 (水) 12:04

先日のエントリーで、統計の歴史をまとめた本が欲しい、と書いたのは、フィッシャーの方法とネイマン・ピアソンの方法との比較とか、それがどういう「流れ」で出てきたのか、とか、そういう所の全体像がきちんと理解出来ていないので、そこら辺の歴史的な流れを追いつつ理論的な解説をする、というような本があればなあ、という思いからでした。

その意味では、紹介した芝村氏の本は、良い本だと思います。ただ、高度に専門的なので、もっと一般向けに噛み砕いたのもあるといいだろうな、というのも感じた次第。
芝村氏の本では、ネイマン・ピアソンの方法が品質管理方面と影響を与え合いながら展開してきた、というのも書いてあって、ほうほう、と思いました。
統計に明るい人にとっては当然のお話なのかもですが、なかなか知る機会が無いんですよね。

投稿: TAKESAN | 2009年2月11日 (水) 15:01

フィッシャーは「5%」というレベルにはこだわってはいなかったと私は考えています。
根拠をつけずに繰り返すのは申し訳ないことですが、引用も含めてそれぞれ人の発言の文脈が必ずしもはっきりしませんので、一応念のため。

投稿: ちがやまる | 2009年2月11日 (水) 15:09

了解です。

個人的な話ですが、ちょっと、フィッシャーの有意性検定についても詳しく勉強しなくちゃいかんな、と思ってます。

投稿: TAKESAN | 2009年2月11日 (水) 16:04

メモ。

『統計学を拓いた異才たち』（P348・349）より。

▼▼▼引用▼▼▼
フィッシャーは特に、ネイマンがあらかじめ判断を誤る確率を決め、 p 値がその確率より小さいときのみ（意思）決定を行うことに反対した。フィッシャーは自著『統計的方法と科学的推論』のなかで、どんな p 値が有意となるかについての最終判断は状況に応じてすべきだと示唆している。私が「示唆」という言葉を使ったのにはわけがある。フィッシャーはどのように p 値を使ったらよいかを決して明快にしなかったのだ。彼は例を示しただけだった。
▲▲引用終了▲▲
との事です。

投稿: TAKESAN | 2009年2月11日 (水) 23:17

この記事へのコメントは終了しました。