« 気と超能力 | トップページ | メモ:高島弘文『科学の哲学』 »

2011年9月23日 (金)

茂木健一郎氏の世論調査観

このようなものを見かけました⇒茂木健一郎さん kenichiromogi 「サンプリングは、もしやるとしたら、まじめにやった方がいい。」 - Togetter ※アットマークを外した

これは、twitterにおいて茂木健一郎氏が世論調査についてつぶやいたのをまとめたものです。その意見を見ていて、ちょっと首を傾げた所がいくつかあったので、検討してみます。

さま(1)そもそも、統計には限界がある。「5年後に生存している確率が30%」と言ったって、自分が実際に5年後に生きているかどうかは0%か100%のどちらかだ。それでも統計的真理を追うのはある程度は仕方がない。問題は、サンプリングをちゃんとやること。

統計的なデータが、個人に起こる出来事を完全に予測出来るものでは無い、というのはその通りです。起こってしまったらその人にとっては100である、みたいな言い方もしばしば見られます。しかし、その事が、なぜ「サンプリングをちゃんとやること」と繋がってくるのかよく解りません。それは、○○年生存率などの概念とはまた別の文脈だと思うのですが。

ちなみに、そういう統計的指標というのは、個人に振りかかる出来事を精密に予測するものでは無いけれども、保険等の資料にしたり、医療において治療の指針にしたり、個人の生活設計などに役立てたり、という役割がある訳です。そもそもが集団に関するデータなので、それを認識して使えば良い。たとえば、重篤な病気に罹って○○年生存率は……などという情報が与えられる事で、今後の余生をどう過ごすかの参考にする場合もあるでしょう。見通しとして用いるという事です。

さま(2)統計学を人間に当てはめるときには特に注意しなければならない。世の中には多種多様な人々がいる。その中から、きちんと「サンプリング」をしなければ、結果が偏ってしまう。「民意」が実は「文句モンスター」の平均に過ぎないということは、しばしば起こる。

きちんとサンプリングしなければ偏る、というのは一般論としてはその通りです。少し補足すると、サンプリングというのは、まず、何か興味を持って調べたい対象があるとして、その全部が調べられない場合に一部を調べるというやり方を考え、その一部を全体から採り出す、という事です。調べたい対象全体を「母集団」と言い、実際に調べる対象を「標本」と言います。その用語を踏まえると、サンプリングとは、母集団から標本を「採る(抽出)」事を意味します。

たとえば、日本人全体の何らかの考えを知りたいとします。ここでは、日本人の内どれくらいの人がカツカレーを好きか、というのを調べたいとしましょう。この場合、「母集団」は「日本人(本当を言えば、これは抽象的過ぎますが。実際には、○○歳から△△歳の有権者、のように限定される事が普通でしょう)」、そして、実際に調べる人々が「標本」です。その考え方からすると、標本は、母集団を「代表」するような選ばれ方をされなければなりません。日本人全体の傾向を調べたいのに、○○県の人々だけを対象にしたのでは、調べたい全体の実際の値から大きく外れる可能性があります。その意味では、茂木氏の言っている事はご尤もです。あくまで書かれた文章をそのまま読めば。

さま(3)花火が中止になったり、送り火がダメになったり、震災関係で心が痛むニュースが多かった。このような時に、役所や主催者に抗議の電話をかけてくるような人は、サンプル的に偏っている可能性が高い。「本当に統計的に意味があるのか」と自省するリテラシーが必要である。

ここは、積極的に意見を言う人の意見内容が、イベントについて感想を持つ人全体の意見を「代表」するとは限らない、というのが言いたいのでしょう。ただ、このような状況、つまり、あるイベントを中止するに至ったきっかけとなった「意見」について、それを「サンプル」と表現する事には少々違和感があります。普通は、ある目的をもって意図的に抽出する集団の事を「標本」と言う訳ですから。まあこれは、それくらいは良いではないか、と言われそうですが。

さま(4)新聞などの「世論調査」においても、昼間に固定電話を受ける人、という時点でサンプルとして偏っている可能性が高い。そのような偏りを排除できないから、そもそも「支持率」などという幻にあまり一喜一憂しない方がいいし、新聞社も伝家の宝刀のように振り回さない方がいい。

「昼間に固定電話を受ける人」という文がある事から、茂木氏が想定しているのは、「RDD」と呼ばれる手法だと思われます。RDDとは「Random Digit Dialing」の略で、コンピュータで確率的に番号を生成し、その生成された番号へ電話をかけアンケートを採る、という方式です。この方式は、電話をかける時に在宅している人がアンケートに答えるとか、最初に電話を受けた人が答える事になるとか、あるいは、固定電話を持っている層しか答えないので回答が偏る、などの批判があります(標本に属する人々は、数学的に処理出来るように、偏らないように採られなければなりません。この偏りの事を、「バイアス」と言います)。茂木氏もそれを考えているのでしょう。

しかしながら、このような方式も、色々と洗練・工夫され、よりバイアスがかからないようなやり方が編み出されています。たとえば朝日新聞では、朝日RDDという方式で調査が行われているようです⇒asahi.com(朝日新聞社):世論調査 - ニュース特集

これを見ると、バイアスを小さくするために様々な工夫が凝らされているのが窺えます。特に、「集計方法にも工夫」の所が重要でしょう。茂木氏は、昼間に電話が、と言っていますが、当然、プロはその事は考慮している訳です。もちろん、調査によってはよく設計されていないものもあるでしょうが、茂木氏のように、新聞の調査があたかもことごとくそういうものであるかのごとく評するのは、いささか新聞社の調査法を甘く見ていると言えるでしょう。

ちなみに、調査の方式というのは、色々なものがありますが、それぞれ一長一短で、偏りが全く無く正確な結果が出る、というのは無いと考えておくべきでしょう。コストの兼ね合いもあります。回収の割合は高いが結果は正確さを欠く、とか、逆に、回収の割合はそれほど大きくはならないが、詳細に訊く事が出来る、というものもあります。電話で訊かれる、封書が送付される、家に訪問される、自分でアンケートを読んで書く、質問者が質問を読み上げてそれに答える、などの色々なパターンを考え、それぞれのシチュエーションでどれが答えやすいかとか、正確な回答が得られるか、などを考えてみるのも良いでしょう。

結果をパッと見てそれに一喜一憂しないのが良い、というのはそうだと思います。当のマスメディアの説明にもあります(この事については後ほども触れます)⇒テレビの街頭アンケート調査、信頼できる? : COME ON ギモン:その他 : Biz活 : ジョブサーチ : YOMIURI ONLINE(読売新聞)

さま(5)「婚活」という言葉は好きではないが、もしやるとしたら、サンプリングに留意した方がいい。結婚紹介サービスや、合コンに来る人たちは、サンプル的に特定の傾向があるかもしれない。良い悪いではない。社会の人々の多様性を十分に反映していない可能性があるのである。

さま(6)もし出会いを求めているのならば、特定の目的のために集められた集団よりも、社会の中でランダムに出会うプロセスの方がサンプリングとして信頼できる。出会ってすぐに人間として打ち解ける技術を磨いた方が、結婚紹介サービスに登録するよりも統計的には良質である。

ここも用語の使い方が気になります。結婚紹介系のサービスに参加する人や合コンに参加する人を、「サンプル」と表現する所に違和感を覚えます。参加者に社会の多様性というものが反映されていないのはおそらくそうでしょうが、そもそもそれは、ある全体(母集団)を知りたいと思い、そこから一部を採って調べる、という目的は無いのですから、当たり前の話だろうと思います。そういうのに参加する人は、社会全体の多様さが参加者にも反映されているのだろう、と期待しているのでしょうか? 疑問です。趣味嗜好が共有出来る人とか、ある年齢層の人とか職業の人とか、そういうのを任意に選べるようなサービスを利用する、と思っていたのですが。

それから、「社会の中で」出会う人が「ランダム」なのかよく解りませんし(そもそも人間は、色々な社会的関係を築いて行動の範囲を限定し、コミュニケーションをとるものでしょう)、「統計的には良質」という言葉も不明瞭です。尤も、漠然と考えている人がこういうのを見て、なるほどそうなのか、と(漠然と)思う場合はあるでしょうけれども。

さま(7)時には、統計的な集団から外れた「outlier」こそが興味深いこともある。高校の時に出会った和仁陽、大学で出会った塩谷賢などはまさにそうだった。ぼくの親友は、みなoutlierばかりだ。ぼくが、世論調査で支持率が何パーセントとかいう数字を一向に尊敬しない理由である。

前段と後段が全然別の話なのに、後段の内容の理由を前段に帰しています。平均的な所から外れた人が魅力的だと感ずるのはそれこそ個人の考えなのでとやかく言う事ではありませんが、なぜそれが「世論調査」を「尊敬しない」となるのか不明です。それ以前に、数字を尊敬しない、というのは意味がよく解りませんが(適当に補うと、支持率が高いからといってその人を尊敬出来るとは限らない、という事でしょうか。しかし、単に統計の結果を信用しない、という説明なのかも知れない)。

支持率というのはそもそも、確かめたい全体(たとえば「有権者」)の内、どの程度の割合が支持しているか、を調べようとして出てきた結果です。そういう「目的」をもって出てきたデータなのだから、尊敬も何も無い、と思う訳であります。まして、それを、「外れ値(変なメタファーですが)」の人を好むという心理と対応させるのはどういう事でしょうか。

さま(8)サンプル数最大の選挙でさえ、あの程度のもの、統計なんて、しょせんそんなものである。ましてや、ネットにしろ、電話にしろ、向こうから能動的に何か意見を言ってくる時には、サンプルは偏っているというのが当然の前提なのだから、主催者はこれからびびらないで欲しい。

まず、「サンプル数」は誤り。正確には「サンプルサイズ」です。あるいは「標本の大きさ」。標本というのは集合を表すので。尤も、これは教科書的な本ですらよくある誤りなので、仕方無い面があります(後で紹介するサイトもほぼそうなっている)。

さて、「サンプル数最大の選挙」とはどういう意味でしょうか。「あの程度のもの」とは? 選挙というのは一般に標本調査では無く、有権者全体を対象とするものですから、「サンプル数最大」というのは不可解です。もしかすると、対象全体を調べる事をそう表現しているのでしょうか。もしそうだとすれば、コメント欄でかとうさんも言っているように、敢えて統計の言葉で表現すると、「全数調査」もしくは「悉皆(しっかい)調査」となるでしょう。それをサンプルとは言わないと思います。たとえば、有名な全数調査としては国勢調査があります。

後段は、文脈を補うならば、先ほどあったような、「声の大きい人」の意見は全体の意見を必ずしも反映しない、というのを示しているのでしょうか(その意見自体は尤もでしょう)。それをサンプルと表現する事に違和感があるのというのも先に書いた通りです。

さま(9)何よりも世界に「私」は一人しかいない。私たちは、世論調査を構成する原子などではない。個性こそが輝き。新聞が世論調査をやたらと持ち出してくるのは、自分たちの凋落を自覚してのことだろう。首相が取材に応じないといってもぶら下がっているのが記者クラブじゃ語るに落ちる。

上で書いたように、そもそも世論調査というのは、対象とする人々の平均的な意見を調べるものです。それが「目的」。ですから、その目的を認識して、実際にどう調べたかを確かめながら検討すれば良い話なのであって。それを、「個性」というものの尊さを訴えるために引き合いに出すというのは、的外れと言うしか無いと思います。※支持率という指標を前面に押し出して色々アピールするのに違和感を持つ事自体は理解出来ますが、それはまた違う話でしょう。指標は指標としての役割をきっちりと認識する、というのを理解するのが先決です。

--------------

茂木氏の言う「サンプリングは、もしやるとしたら、まじめにやった方がいい。」という事そのものは、一般論として正しいです。河豚を食べるとしたら毒部分は取り除いた方がいい、というくらい一般的に妥当(なんか違う)。しかし、マスメディアの調査を見ると、かなり「まじめ」にやられているようです。ここでいくつか、調査方式の情報を掲載しているマスメディア各社の世論調査に関する記事を紹介しましょう。※サンプルサイズは、有効回答者数(こちらが実際得られたサンプルサイズ)では無く調査対象者数を示す

▼NHK⇒世論調査の手順 - 調査相手の抽出 | NHK放送文化研究所

標本抽出――層化二段抽出法。サンプルサイズ:3600

調査方式――面接法・配布回収法・郵送法・RDD

▼FNN⇒FNN世論調査

電話調査とあるので、おそらくRDD サンプルサイズ:1000

※「2011年9月3日(土)~4日(日)分」を参照

▼テレビ朝日(『報道ステーション』)⇒世論調査|報道ステーション|テレビ朝日

標本抽出――層化二段抽出。サンプルサイズ:1000

調査方式――不明

※2011年9月調査を参照

▼日本テレビ⇒日本テレビ世論調査

RDD サンプルサイズ:2032

※2011年9月調査を参照

▼時事通信⇒時事通信社 時事世論調査特報

標本抽出――層化二段抽出。サンプルサイズ:2000

調査方式――個別面接法

▼産経⇒【世論調査】質問と回答全文+(7/7ページ) - MSN産経ニュース

RDD サンプルサイズ:1000

-----

こういった具合です。これらを参照すると、さすがにマスメディア、つまり新聞やテレビの「世論調査」というものは、標本抽出の仕方くらいはしっかりしている、と見えます。ですから、茂木氏の言うような意味でサンプリングをしっかり行うべきだというのは、既に「行われている」と考えて良いでしょう。もちろん、ニュース番組やバラエティで簡易に行われているアンケートなどはまた別に考える必要があるでしょうが、今はいわゆる世論調査というものを対象に考えています。

当然、マスメディアが行うものの中にも、ひどいとしか言えないものもあります。たとえば、産経の「eアンケート」(検索するとすぐ出てきます)。これなどは、質問も全く練られておらず(中には誘導的なものすらある)、回答は、見ている人が任意に答えられるという形式で、偏りを小さくする工夫など全く見えません。WEBアンケートの悪い所を凝縮したようなやり方です。

新聞やテレビが行う「世論調査」に関しては、それなりにしっかりと行われています。ですから、サンプリングをちゃんとしよう、という事を求めるよりは、「記事中に情報を正確に記述する」のを求めるのが重要と思います。つまり、調査をしたと称する記事のことごとくに、標本抽出の方法や調査方式について概要を書くのをユーザーが求めるのが大切、という事です。たとえば、次のような情報くらいは漏らさず掲載する、といった具合に。

  • 対象とする全体(母集団)
  • 標本の抽出の仕方
  • 標本の大きさ
  • 調査の方式

上で紹介したように、さすがに世論調査ではこれらの情報は書いてあります。しかし、これもメディアによって違いがありますね。NHKのサイトは特に詳しい。朝日の場合、問題があると指摘される事がよくあるRDD方式に加えた工夫を詳らかに解説している。他の所は見つけられず。その部分についても、各社が解りやすい所に詳細に書くのが望ましいでしょう。

これ以外の調査報道に関しては、更にバラバラです。調査したという事以外に全く情報が無いものもあれば、きちんとサンプルサイズや調査方式が書かれているものもある。私は、調査をしたと言う以上、どんな記事でも、基本的にその情報を同時に示すべきである、と思う訳です。それくらいに大事で基本的な情報なのです。

そして、先ほど紹介した読売のページのように、標本調査というのは参考程度に留めておくべき(正確に言えば、実際に行われた具体的なやり方を確かめ信頼の程度を決めていく。読者や視聴者がそれを出来るためにも上に書いたような情報提供が重要)、というのをマスメディア自ら発信すべきでしょう。どういうやり方が望ましく、どういうやり方に偏りが出やすいか、などを示すべきです。バラエティなどでひどい「調査」が紹介されているのがしばしば見られるので、テレビ番組などで積極的に正確な情報を出していくというのは考えにくいのでは、と言われそうですが、それでも、そういう動きを求めていくのが重要でしょう。以前、NHKの番組で大変良い特集もありました⇒数字トリック見破り術 : ためしてガッテン - NHK

また、そういうのを求めるばかりでは無く、自分で本を探して読んで勉強してみる、というのも重要だと思います。そこで仕入れた知識を周りに教えていくのも大切。世論調査なども含んだ、社会に関する調査を行う事を、「社会調査」と呼びますが、その分野を説明したものとして、たとえばこの本をお勧めします。

社会調査法入門 (有斐閣ブックス) Book 社会調査法入門 (有斐閣ブックス)

著者:盛山 和夫
販売元:有斐閣
Amazon.co.jpで詳細を確認する

敢えて、普及書・啓蒙書の類では無く、ごりごりに専門的な本を選んでみました。非常に手堅い本ですが、本質的な所から詳しく説明されているので、むつかしい本を読み慣れている人には興味深く読めると思います。時折見かける、「無味乾燥な教科書」とは一味違うし、サンプリングやワーディング(質問を行う際の言葉の選び方)についても大変詳細に書いてあるので、この本を推したいです。もちろん、統計学一般の入門書で、標本調査の理論を勉強するのも良いでしょう。

間違っても、マスメディアによる世論調査は大体信用出来る、などと言っているのでは無いので誤解無きよう。RDDの欠点がどこでも解消された、と言っているのでもありません。これだけ色々書いても誤解する人はいるだろうから、予め釘を刺しておきます。

|

« 気と超能力 | トップページ | メモ:高島弘文『科学の哲学』 »

「メディア論」カテゴリの記事

「科学論」カテゴリの記事

コメント

前に菅原琢氏がRDDへの的外れな批難について反論をtwitterで書いておられた気がしたけれどどこか忘れた。

参考資料としてSYNODOSの記事。
http://synodos.livedoor.biz/archives/1644503.html

投稿: TAKESAN | 2011年9月23日 (金) 21:58

私信

悶絶が和らげば良いですが、上手く書けなかった気が。

投稿: TAKESAN | 2011年9月23日 (金) 22:34

私は、マスコミの世論調査は、ほとんど信用していません。(もちろん、ネット上の調査も、偏った調査結果と思っています。)
マスコミでは、その調査方法について、詳しく出ている例は少なく、電話調査などでの前段の訊き取り方の文言も出ていません。
訊き取り方に拠っては、調査が誘導される可能性があります。

また、調査に回答していない人の数が問題で、また、分からない、支持政党無し等の数(%)が問題で、支持率など、それら(無回答者等)を入れ、母数から導き出すと、支持率は、ぐっと下がってしまい、支持率の差は、意味が無くなることがある、と思っています。

そして、新聞等で問題なのは、実態としての(ほぼ同じ)調査の数字があるのに、見出しが、社によって違い、社(社のお偉方)の意向によって書かれ、読んだ人間に、間違った(洗脳された)ことをイメージさせる書き方(言い方)だと思っています。

投稿: mohariza | 2011年9月24日 (土) 15:33

母数から導き出す、てどういう意味ですか?

社会調査のデータと、それを紹介する仕方、というのは一応別の文脈の話です。

いかに非標本誤差を小さくするかが社会調査の眼目でしょうから、どういう風に工夫しているかが重要です。そこを精査せずに、不正確だと「思う」と憶測を膨らませるばかりではしょうがない部分があります。信頼出来るかどうかは、何を調べたいか、という目的の部分と、データをどう見るかという解釈の部分、それを両方検討して考えるべきでしょう。

だから私はここで、「何をしたかという情報を詳らかにせよ」と書いている訳ですが。

後、新聞の世論調査は、質問項目をかなり詳しく書いていると思いますけれども。本文にも産経へのリンク貼っています。

投稿: TAKESAN | 2011年9月24日 (土) 16:01

TAKESANさんへ

<母数から導き出す>と云う書き方は、誤記(誤解を生む書き方)でした。

「また、調査に回答していない人の数が問題で、また、分からない、支持政党無し等の数(%)が問題で、
無回答者等を入れて、最初調査した大本の素の数からすると、支持率等は、ぐっと下がってしまい、支持率の差は、意味が無くなることがある」と、訂正します。

「無回答者の声が反映してない調査は、意味をなさない」可能性がある、ことを言い方だけです。

・・・・・

>新聞の世論調査は、質問項目をかなり詳しく書いていると思いますけれども。・・・

確かに、質問項目は、記されているかも知れませんが、
「調査の際の前段の訊き取り方の文言は出ていない。」と思います。

投稿: mohariza | 2011年9月25日 (日) 00:29

ああ、質問に移る前の話の持って行き方、という事ですね。確かにそれについて詳しく解説されるのは見ないですね。であれば、「不明」としておくのが無難とも思います。

欠損値の取り扱いはそもそも調査法において重視されている事柄ですから、実際にどうなっているかは個別に検討するのが大切と思います。回収割合が高いか低いか、にもよるでしょうし、その値によって補正の仕方も変わってくるでしょう。

投稿: TAKESAN | 2011年9月25日 (日) 09:13

「回答者の割合」という部分を「回収の割合」と変えました。多分こちらの方が解りやすいので。

投稿: TAKESAN | 2011年9月26日 (月) 19:04

TAKESANさんへ

世論調査の際の「回収の割合」が問題で、
捻くれた私は、もしかして、マスコミは、「回収の割合」が悪い場合、それを間引いて、回収率を割り増しているのでは…?と、
勘ぐっています。

マスコミ不信で、世論調査に答えない人間が、どう選挙等で、動くか?
その層が、今後、実際の世の中でどう動くか?を、注目すべき、と思っているのですが…。

投稿: mohariza | 2011年9月26日 (月) 19:38

回収割合を虚偽報告しているのでは、みたいな所まで疑ると、それはマスメディアによる凶悪な印象誘導・情報操作を想定している事になる、つまりものすごく強い主張をしている事になるので、そういう行為をしている証拠を示さないと、説得力は持たないでしょう。

誰がマスコミのアンケートなんかに答えるか、と認識する人が回答しない、みたいなバイアスは当然考えられます。でもそういうのをどんどん言い出すと、じゃあどういう調査なら信用しますか、みたいな話になるので。いずれにしても、与えられた情報をいかに解釈していくか、という問題です。定量的に。欠損値の補正もそういう問題意識でしょう。

投稿: TAKESAN | 2011年9月26日 (月) 19:55


・・・その(実証する)すべは、一般国民は無いので、

私は、マスコミの世論調査の数字は、聞き流し、見流しています。

選挙結果でしか、国民の意思の実態は、出てこないと思っています。
(棄権票は、あるのですが、それは、無視する、として…。)

投稿: mohariza | 2011年9月27日 (火) 02:17

ループになるのでこの辺で。

本当に本文を読んでくれてるのかよく解りませんが、まあ別に良いです。

投稿: TAKESAN | 2011年9月27日 (火) 07:23

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/13103/41949855

この記事へのトラックバック一覧です: 茂木健一郎氏の世論調査観:

« 気と超能力 | トップページ | メモ:高島弘文『科学の哲学』 »