« 批判的思考を鍛えるために | トップページ | 目撃 »

2007年9月13日 (木)

論文の読み方

昨日ご紹介した本に、研究論文をクリティカルに読むためのチェックリストが載っています。大変参考になるので、少々長いですが、引用します(『クリティカルシンキング 研究論文篇』 P163-164)。

  1. 研究上の問いは明確に述べられているか?
  2. 導入,問題の陳述,文献の概観は,読み手に適切に設定されているか? またこの題材は研究上の問いと一致しているか?
  3. 研究上の問いや題材からみて,仮説は適切で,明確に述べられているか?
  4. 鍵となる術語はきちんと定義されているか?
  5. 独立変数はこの研究上の問いに適切か? 独立変数の水準は適切か?
  6. 独立変数の基準や基準測度は適切か,妥当か,信頼性があるか?
  7. 従属変数は,この研究にとって適切か?
  8. 従属変数の基準や基準測度は適切か,妥当か,信頼性があるか? 得点化,評定,判定の手続きは妥当で信頼性があるか? 装置が用いられている場合,それは正確で信頼できるか?
  9. 統制は適切か? 結果は統制されていない変数に影響される可能性がないか? 統制群や比較対照群がある場合,それは適切に選ばれているか?
  10. 研究デザインは仮説の検証に適しているか,また研究上の問いに答えるものか?
  11. 方法や手続きは理解され追試できるよう十分な詳細さをもって明瞭に記述されているか? 参加者は適切に方向づけられ,動機づけられているか? 彼らは課題をどのように理解しているのか? 教示は十分に明瞭で正確か? 参加者間のコミュニケーションが,結果への影響要因のひとつになっていないか? デザイン,データ収集,査定,分析,報告の中に実験者バイアスの徴候はないか?
  12. 参加者は適切に選ばれているか? サンプルは対象をきちんと代表しており偏りがないか? 手続きは,実験参加者を保護するための指針を遵守しているか? サンプルの人数(N)は適切か? 参加者をグループ,処理,あるいは条件に割り当てるのに適切な手続きが使われているか? マッチング,均等化,ランダマイズのような群の等価性を確立するための適切な技法が使われているか? 参加者の欠落が生じているか? また生じている場合,それはサンプルを偏らせていないか?
  13. 統計的検定は適切か? そして,その使用の前提条件に合っているか? 自由度は正しいか? 誤差の測度は妥当か? 計算や統計的な結果の表示に間違いがないか?
  14. 表や図ははっきりと凡例がつけられ正しく表示されているか?
  15. 結果は正しく解釈され,適切に報告され,意味づけられ,きちんと書かれているか?
  16. 考察はデータの概観からみて適切か?
  17. 結論はデータからみて妥当であり,データによって保証されるものか?
  18. 結果の一般化は妥当か?
  19. 引用文献は本文の中の引用と対応しているか?
  20. 倫理的な基準は研究のすべての段階で遵守されているか?
  21. この研究を改善し,再デザインするとしたらあなたはどうするか?

こういったチェックリストを参考にしたり自作したりして判断するのは、大変便利ですね。もちろん、各項目に照らして判断出来る様に知識を蓄え、意味を理解するのが、先決な訳ですが。

必ずしも論文の話ではありませんが――とても偏ったサンプリングをしておいて、そこから得られた結果を一般化しているもの、見かけますよね。有意確率の小ささを強調して、変数間の「強い関連」を主張する人とか。そもそもサンプルサイズが書かれていなかったり、母集団に関する言及がまるで無いもの、等もありますね。グラフで印象を誘導しているのも、結構見ます。概念の定義が無いのもありますねえ。それで、世間に言葉だけが広まってしまい、めちゃくちゃ多義的に用いられている、という。インパクトが強いので、流行に乗りやすいのでしょうね。そう、アレの事です。

で、そういう駄目なものを参照して、また駄目なものを書いたり、とかも。それが、マスメディアでそのまま紹介されて、変な情報が広まってしまう事も、あります。

おかしな所を突っ込まれると、新書向けだから専門的な記述を省いた、と言う人もいますね。ちゃんとした論文も書いていないのに。まあ、言い訳ですね。

----------

論文の読み方、と言えば、kikulogのドライヤーエントリーの、PseuDoctorさんの(研究論文についての)コメント、最後らしいですね。うーん、残念。大変簡潔に纏められており、解りやすく、とても勉強になるので、続きを楽しみにしていたのですよねえ…。

----------

ゲーム脳の提唱者&支持者は、上のチェックリストで求められている事を、どのくらい満たした上で、主張しているのかな?

|

« 批判的思考を鍛えるために | トップページ | 目撃 »

「科学論」カテゴリの記事

コメント

こんばんは。

私の発言をそこまで評価して頂いて、有難うございます。やっぱり、ナノイーイオンのエントリをあれ以上伸ばすべきではないな、と思っていますし、他のエントリに続きを書くのもはばかられるんですよね。

TAKESANさんには以前とても有難いお申し出を頂いているので、もしこちらにお邪魔して宜しければ、続きを書いてみたいとも思います。ただ、先に言っておきますけど、私、書くの遅いですよ(^^;
こういう話し言葉なら比較的大丈夫なのですが、少しまとまった文章を書こうとすると凄く時間がかかってしまいます。もう少し書くのが早ければ、書かせて頂きたい場所はあちこちにありますし、自分で管理が出来ればブログを持ちたいとも思うのですが、とても追い付きません(すみません、愚痴です)。その意味では、自らブログを書かれてる上にあちこちにもコメントされているTAKESANさんやPoohさんは、私から見ると驚異的ですね(きくちさんやapjさんは言わずもがな)。もし今の状態で私がブログを開設したら、まず間違いなく「せいぜい週一更新、そのうえコメント禁止」になってしまいますorz
元のエントリではSSFSさんの発言とそれに対するツッコミでエントリが埋め尽くされてしまうのが嫌で(あれでも)頑張って書いてたんですが、流石にちょっとバテ気味でもあります。

気長に見て頂けるのでしたら、宜しくお願いしたいです。

投稿: PseuDoctor | 2007年9月13日 (木) 23:29

PseuDoctorさん、今晩は。

あのエントリーは、いよいよ、物凄い重さになってきましたからねえ…。それに、事実上、議論?は終息しましたしね。

こちらに書いて頂けるのでしたら、是非、お願いしたいです(こんな場所でよろしければ…)。もちろん、いつでも構いませんので、お時間が空いた時にでも。

投稿: TAKESAN | 2007年9月14日 (金) 00:16

有難うございます。

ついでという訳でもありませんが、途中から書くというのも何ですので、もし宜しければ最初から再録(と言うのか?)させて頂ければと思います。田部勝也さんのご提案で追加した部分もありますし。

全くの余談。
「場所を移して続きを書く」っていうのは、何か売れっ子漫画家みたいで、ちょっとカッコ良さげです。例えば「ガイバー」とか。

投稿: PseuDoctor | 2007年9月14日 (金) 01:21

是非是非。その方が、纏めて読めますしね。

 >「場所を移して続きを書く」

ありますねえ。『ブラックジャックによろしく』とか(最近読んで無いけど)。

サイコも移ったなあ。出版社は同じだけど。

投稿: TAKESAN | 2007年9月14日 (金) 01:33

良さそうな本ですね。
チェックリストを見て、早速注文してしまいました。

投稿: apj | 2007年9月14日 (金) 01:53

このリストの中味は、学部によっては一コマくらいの時間をとって講義しているところもあります。

ちがやまるの一連の発言はこれを頭においていた、というかこれを伝えたかったのでした(これで使命は終わりましたね)。
http://www.cp.cmc.osaka-u.ac.jp/~kikuchi/weblog/index.php?UID=1158225244#CID1179035358
http://www.cp.cmc.osaka-u.ac.jp/~kikuchi/weblog/index.php?UID=1161050666#CID1174608339

投稿: ちがやまる | 2007年9月14日 (金) 05:11

apjさん、今日は。

ちょっと読みにくい所があったり、用語説明で?となる事がありますが、とても参考になる本だと思います。

------

ちがやまるさん、今日は。

あ、そうだったのですね。なるほど。

大変有用なリストですよね。

投稿: TAKESAN | 2007年9月14日 (金) 11:52

こんにちは。

えーと、今更ですけど、私、こっちの本は未読なんですね。ですからTAKESANさんの引用されたチェックリストを最初に見た時はちょっとビビりました。「このリストがあれば私の文章なんていらないじゃん」という気もしたものですから。

でも、この本と私の文章の両方をお読みになったTAKESANさんが評価してくださってるのだから、まあ大丈夫か、と思って書く事にします。

余談ですみません。

投稿: PseuDoctor | 2007年9月15日 (土) 12:17

あ、いえいえ。PseuDoctorさんの文章は、恐ろしく明快で、科学をあまり知らない人でも具体的にイメージ出来る様に書かれているのが、凄いので。

上のチェックリストは、ある程度ものを解っている人が参照にする物で、術語を知っている事を前提として書かれているので、読みにくいとも言えると思います。すっきり纏まりすぎていて。

-------

これは、上の本への疑問なんですが。

「N」って、サンプルサイズとしていいんですかね? 「N」は母集団の大きさで、サンプルサイズは「n」じゃないかと。

後、巻末の用語解説で、p値を「有意水準」としていました。説明も、なんだかよく解らなかったし…。

投稿: TAKESAN | 2007年9月15日 (土) 13:11

こんばんは。
大変遅くなりましたが、例の学術論文に関するコメントを書かせて頂きます。場所はこのエントリで宜しいでしょうか?
それと、もし構わなければkikulogのナノイーイオンのエントリに「TAKESANさんのブログに書かせて頂く事になりました」とURL付きで告知したいと思うのですが、如何でしょう?

とりあえず、始めます。

---第1回目はここから---
もくじ
0.はじめに
1.「学術論文」の定義
2.「学術論文」に求められる内容
3.「学術論文」の形式
4.「技報」のテーマの問題点
5.「技報」の形式の問題点
6.「技報」の方法論の問題点

0.はじめに

最初に全体の構成を書いておきました。1.~3.は一般論ですが、これらを明らかにする事で「技報と学術論文との違い」が明確になるものと考えています。4.~6.は技報そのものに対するツッコミです。また、この文章全体を通して単に「技報」と言った場合には松下の
http://www.mew.co.jp/tecrepo/552j/pdfs/552_15.pdf
の事を指しています。
また、本論に先立ち「技報」に関する私のスタンスを述べておきたいと思います。
私は「技報」に何らかの価値判断を加えようというつもりはありません。「技報」の最大の問題点は「学術論文ではないのに学術論文のように見える」という点ですが、別に松下電工自身が「技報は学術論文である」とアナウンスしている訳ではありませんので、その点で松下電工を批判したり非難したりするものではありません。
しかし、もし「技報」自身を根拠として「髪への効果が科学的に実証されています」みたいな事を言うのであれば「それは違うでしょう」と言わざるを得ません。そして私の意図は、ここを読んだ皆さんが「それは違うでしょう」という事をご自身で判断できるように、「技報」と「学術論文」との違いや「技報に示されているデータだけでは科学的証明には不充分である」という事を理解して頂きたいというものです。
---第1回目はここまで---

投稿: PseuDoctor | 2007年9月26日 (水) 23:04

PseuDoctorさん、今晩は。

あ、どうもありがとうございます。えっと、このエントリーでお願いします。

▽▽▽引用▽▽▽
もし構わなければkikulogのナノイーイオンのエントリに「TAKESANさんのブログに書かせて頂く事になりました」とURL付きで告知したいと思うのですが、如何でしょう?
△△引用終了△△
ええ、もちろん構わないです。と言うか、是非、多くの方に、お読み頂きたいので。

それでは、よろしくお願いいたします。

投稿: TAKESAN | 2007年9月26日 (水) 23:21

承知しました。
宜しくお願いします。

投稿: PseuDoctor | 2007年9月26日 (水) 23:48

続きです。

---第2回目はここから---
1.「学術論文」の定義

一般用語としての「論文」には「物事を筋道立てて書いた文章」というほどの意味がありますが、これは非常に広義な捉え方です。科学者や研究者が「論文」と言う時には、それはもう「査読付きの学術雑誌に載った論文」の事以外にありえません。これは言い換えれば「専門家による客観的な評価を通った論文」という意味でもあります。これを単なる「論文」と区別する為に「査読付きの論文」と書いたりする訳ですが、これでもまだちょっと煩雑ですので、私の文章では「査読付きの論文」の事を「学術論文」と呼ぶ事にします。

さて、その「査読」についてもう少し説明します。学術雑誌の編集部では何人かの専門家(多くは他に本業を持っています)と契約しており、雑誌への掲載を望む論文が投稿されると、それを専門家に見せ、掲載に値するかどうかを判定してもらいます(どのような基準で判定するかは次項で述べます)。非常に出来の良い論文の場合はそのまま掲載が決まります(アクセプトと言います)が、多くの場合は「ここを直せば載せてあげますよ~」という修正意見を付けて投稿者に返します(リバイスと言います)。出来の良くない論文や「当雑誌に載せる内容としてふさわしくない」と判断された論文の場合には「載せません」という結論を付けて返される事もあります(リジェクトと言います)。

「査読」の厳しさは雑誌によって異なり、有名どころの雑誌ほど掲載される為のハードルが高く、それが雑誌のステータスにもなっています。つまり、いやらしい言い方をすれば「論文の価値はどの雑誌に載ったかで決まる」とも言えます。

しかしながら学術論文の真の価値は「どれだけ学問や社会の発展に貢献したか」で決まるものでしょう。これは「後に続く研究者にとってどれだけこの論文が参考になったか」と言い換える事も出来ます。つまり「どれだけ後発の論文に引用されているか」を調べれば論文の価値を間接的ながら評価できる事になります。これを応用して雑誌ごとに引用の頻度を数値化したものが「インパクト・ファクター(IF)」です。これは「その雑誌に載った論文が平均してどのくらい引用されたか」を示したものですから、同じ研究分野で比較する限り、この数値が高い雑誌ほど影響力が強いと言えます(喩えるならばトラックバックの数でブログをランキングするようなものでしょうか)。IFは「ある程度恣意的に上げる事が出来る」という指摘もありますが、雑誌の評価をするうえで有力な指標である事には間違いありません。

余談ですが、ここでIFの上げ方について触れます。kikulog投稿時には「興味のある方は方法を考えてみてください」とだけ書きましたが、折角ですのでもう少し詳しく述べます。例に挙げた「トラックバックの数でブログのランキングが決まる」ような場合に、恣意的にランキングを上げたければ、何人かの仲間を募ってどんどん相互にトラックバックをし合えばランキングは上がります。これと同様に何人かの研究者が協力して、新しい論文を書く度にお互いの論文を引用し合えば、その分だけIFを上げる事が可能になります。これは大規模に行うほど有利になりますので、多くの研究者を抱える研究室ほど有利という事になります。
但し、論文の引用が恣意的に行われているかどうかの判定はなかなか困難です。同じ分野の研究者であればお互いに引用し合う事はむしろ自然であると言えるからです。逆にこの事から、研究者の少ない分野で頑張ってもなかなかIFが上がらないという弊害がある事も推察できます。

以上の点を踏まえれば「技報は形式的に見ただけでも学術論文とは言えない」点がご理解頂けると思います。「技報」は松下電工自身が出している文書であり、専門家による客観的な査読が掲載条件である学術雑誌とは異なります。もし「技報」が学術雑誌であろうとするならば、最低でも以下の2点を満たしている必要があります。
1)投稿規定が整備され公開されていること(勿論査読付きで)。
2)原則として投稿者に制限を設けないこと。
これらを満たした上で地道に良い論文を載せ続けていけば、学術雑誌として認められるようになるでしょう。

今回のまとめ:
「査読の無い論文は、ただの論文だ」(森山周一郎の声でお読みください)
---第2回目はここまで---

投稿: PseuDoctor | 2007年9月30日 (日) 00:25

だいぶ間が開いてしまいましたが、3回目です。

---第3回目はここから---
2.「学術論文」に求められる内容

あくまで私見ですが、学術論文に求められるものは、ごく簡単に述べると以下の4点です。なお4)は、kikulogにおいて田部勝也さんから頂いたご意見に基づき書き加えたものです。
1)新規性
2)論理性
3)再現性
4)話題性
最初の3つを一つでも満たさないものは、少なくとも私は学術論文として認めません(おそらく査読も通らないでしょう)。また4)を十分に満たしていないものは編集部からかなり冷たく扱われるでしょう。更に、これらの他に、ややマイナーな条件として「過去の知見に立脚しているか」というものも考えられますが、これは他の論文を適宜引用する事で実現できると思います。

では一つずつ解説していきます。まず「新規性」は比較的解り易いでしょう。これまでになかった新しい知見、あるいはこれまでの知見の延長上でも構わないので、そこに何かしら新しい事を付け加えられる、それが必ず求められます。何も新しい事が含まれていなければ、わざわざ学術論文にして世に問う必要はありません。但し「これまでに知られている事をまとめて解り易く解説する」という内容の記事も学術雑誌に載る事がありますが、それは「総説」といって「学術論文」とは別のカテゴリになります。

次に「論理性」です。勿論、全体として論理が破綻していないのは絶対条件ですが、説明が言葉足らずな為に読んだ人が「どうしてそんな結論になるんだ」と思うようでもダメです。充分な量のデータとそこから導かれる結論を論理的に述べなくてはなりません。また論文の書式(表現形式や使用単位、文章の長さ等を含みます)が雑誌側の求めている形式に合致している必要があります。

三つ目は「再現性」です。これが実は非常に重要です。と言いますのは「論文を読んだ他の研究者が同様の条件で実験(再現実験)を行い結果を検証できるかどうか」にかかってくるからです。学術論文は読んだ人が再現実験を行えるように、実験の条件を過不足無く書かなければなりません。またそれを公表する事で(実際に再現実験が行われるかどうかは別にしても)自らの実験結果に責任を持つという態度が示せる訳です。

最後に「話題性」です。最初の3点は純粋に学術的な見地からの必要性ですが、この「話題性」はどちらかと言うと社会的な要請と言えるでしょう。
学術雑誌の編集部は、掲載論文が社会に受け入れられるかどうかに注意を払います。ここで「社会」とは狭義では同分野の研究者であり、広義には世間全体を指します。つまり「同分野の研究者が検証したり発展させたりしたいと思う内容なのか」とか「世間が興味を持つか」という観点が掲載の可否判断に影響を与えます。俗な見方をすれば「研究者に受け入れられれば雑誌のステータスが上がる」し、「世間が興味を持てば売れ行きが上がる」とも言えます。
但し、ここで注意すべきなのは「編集部は論文の『正しさ』を保証しない」という点です。論文に全くの嘘を書くのは論外ですが、それ以外にも実験のミスや研究者の思い違いなど様々なエラーの可能性があります。しかし編集部は、論文を読んだだけでは判明しない間違いには責任を負いません。ですから、学術雑誌の掲載は決して正しさのお墨付きを与えるようなものではなく、むしろ「正式に学問の土俵に乗った」というふうに捉えるのが妥当でしょう。

ここで、「技報」が最初の3点を満たしているかどうかを見てみましょう。
「新しい機器(ドライヤー)を開発し従来よりも高性能であった」というだけであれば、技術的に見て「新規性」を満たしているとしても良いでしょう。ところが「論理性」についてはかなり問題があります。勿論「nanoeイオン」という「定義のはっきりしないもの」を題材にしているのが最大の問題なのですが、その点を別にしてもなお、論理性には疑問が残ります。具体的には後でまた述べますが「新しいドライヤーの技術」と「毛髪への効能」を一つの論文で一辺に述べようとしている点が問題です。その意味では、ちがやまるさん(引き合いに出して申し訳ありません)がkikulogの「ナノイーイオンの効果」エントリの#777に書かれた
>新しい水分補給法を製品に取り入れた、という報告に、なぜ効能試験の話題をちょこっとはさむかなあ、というところが謎です。
という感想は、簡にして要を得たものなので、実に趣があります。
最後に「再現性」ですが、ドライヤー自体が市販されているので、再現実験は可能でしょう。しかしながら実験結果の提示に問題がありますので「同様の結果が得られたかどうか」の検証は困難であり、再現性にも問題ありと言わざるを得ません。この点に関しても、後で再度述べたいと思います。
---第3回目はここまで---

投稿: PseuDoctor | 2007年10月23日 (火) 00:06

こんにちは。
お元気ですか?
今年は急に寒くなったので紅葉は期待できそうですね(^.^)
いつも楽しく拝見しています。

さて、今日、内田樹さんの最新エントリーについて感想を書いたのですが、その中でTAKESANさんのエントリーを紹介させていただきました。トラックバックをお送りしたのですが届いていないようです、、、

内田さんのブログは人気があって影響力があります。
感覚的な軽い文が受けるように思います。
ただ、中身はしっかりと考察していかないと、読者を迷路に誘い込みます。内田さんの偏見という迷路に。
今日も内田さんの疑問を書いたのですが、
TAKESANさんのエントリーの科学論は私にとって、本当に分かりやすく、つい引用させていただきました。
これからも、どうぞ宜しくお願いいたします。
では、また(^.^)

投稿: せとともこ | 2007年11月 3日 (土) 16:10

せとともこさん、今日は。

急に冷え込んできましたねー。夏よりそちらの方が好きなので、心地良いくらいですけれど。もっと寒くなると、そうも言っていられませんが…。

 >トラックバックをお送りしたのですが届い
 >ていないようです、、、
TBは承認制にはしていないのですが、何故か、非公開になってる場合があるのですよね。何でだろう…。今公開にしました。

せとともこさんのエントリーと、内田氏のエントリー、両方読みました。

内田氏は、ある「理想型」のイメージを抱いていて、それに合致しないものに、ネガティブな評価を与えておられるように見えますね。他者の意見の援用も、上手く(悪く言うと、都合良く)採り入れているのでしょうか。

内田氏のエントリーは、たまに覗く程度ですが、首を傾げてしまう事がありますね。武道関連のエントリーとか。

(以下、推測を多分に含みます)ざっと読んで思ったのは、「何で電飾の話から、そこまで敷衍出来るの?」という事ですね。後、電飾は家族皆でやったのかどうか、というのが気になります。これは元ネタにあたらないと、解らない事ですけれど、もし、家族総出で電飾の飾りつけを行ったのなら、「仲良くしている」のでは? などと思ってしまいます。
内田氏にとっては、「手作り」が、「家族で仲良く」を象徴する記号なのかな、なんて感じます。

「手作り」云々(プレゼントし合うとか、等々)を、良好なコミュニケーションを象徴する記号と看做し、その認識に強く囚われてしまった人が、他の家庭と「比較」し、卑下してしまったりするとか、考えるのですよね。「理想とのギャップ」を過度に意識してしまうと言うか。その方が、精神衛生上良くないのでは、とか。

何で内田氏は、自分の記号体系が妥当である事を前提しているかの様な論の進め方を、なさっているのでしょうね。

おっと、書き過ぎました…。

あ、そうそう。せとともこさんは、
 >内田さんって実はすごく素直な人なのかも
 >しれません。
これって多分、ちょっとした含みを持たせてありますよね? これ以上書くと、野暮ですが(はずれてるかも知れないし)…。

投稿: TAKESAN | 2007年11月 3日 (土) 17:47

内田氏は、実証科学的方法について、かなり無頓着である、という印象を持っているのですが、どうでしょう>内田氏の文を読んだ事のある皆さん

ロジックを積み重ねるのが面白い、というのは解るのですけどね。でも、あまり、それに任せてしまってはなあ、という。

投稿: TAKESAN | 2007年11月 3日 (土) 17:57

遅筆で申し訳ありません。
ようやくの第4回目です。

---第4回目はここから---
3.「学術論文」の形式

雑誌により細かな差異はありますが、学術論文は概ね以下の形式で書かれます。また、これらの他に冒頭に概要(アブストラクトと言い、全体の簡潔なまとめの事です)が付く事もよくあります。読む側からすればアブストラクトが付いている方が有難いです。
1)序論(はじめに)
2)対象と方法
3)結果
4)考察

順番に見ていきましょう。まず「序論」では「論文を書くに至った動機」と「これまでに知られていること」を書きます。勿論、動機と言っても「有名になりたかった」とか「お金が欲しかった」というような意味の動機ではありません(そういう動機で論文を書いても勿論構わないのですけれど、論文の中にそれを書くべきではありませんね)。ここで求められるのは「学問的な動機」です。つまり「これまでの様々な研究でここまでは解っているけれど、ここをもうちょっと調べたら新しい事が見つかるかもしれないので、調べてみました」というような内容を書きます。

次の「対象と方法」では文字通り研究の対象と方法を記載します。前回も書きましたが、ここを読んだだけで、お金や手間、技術や設備等の条件さえ整えば、同様の研究を再現して検証出来るように書かなければいけません。対象が自然現象や災害である場合には人間の手で再現するのは困難ですが、そうした場合でも観測条件等を明確に示しておけば、将来同様の事例が発生した時に類似のデータが得られるかどうか、という形で検証が可能になります。

「結果」には研究や実験の結果得られたデータを記載します。データは客観的で具体的な事実でなくてはなりません。データから導かれる結論は「結果」ではなく「考察」のところに書きます。ここで、官能試験のように「人がどう感じたか」という実験の場合は、結果に客観性を持たせるのが難しいので、その為の重要なテクニックとして二重猛犬砲、もとい、二重盲検法があるわけです(ちなみに、完全に余談ですが「二重猛犬砲」とはkikulogの「ナノイーイオンの効果」エントリにおいてcomさんが記した「ATOKの誤変換」ですが、大変に単語のインパクトが強く、初めて目にした時は「ケルベロス」と「タイガーロイド」を合体させたようなものを想像してしまいましたので、今でも良く覚えています)。
さて、二重盲検法の内容については長くなるので簡単に述べますが、要するに「気のせい」や「思い込み」を排除する為の方法です。水伝を例にすれば、どちらの瓶に「ありがとう」「ばかやろう」が書かれているのか、水さん本人(?)以外に誰も知らない状態で、結晶の形だけ見てどちらの瓶に「ありがとう」と書かれているのか、偶然を越える確率で見分ける事ができるか、というようなやり方です。「誰も知らない」という点が最も重要で、より正確に言えば「実験を実施する人」と「実験の対象になっている人」のどちらも知っていてはならないのです。
もう一つ例を挙げるならば、新薬の臨床試験では新薬を与えた群と偽薬(外見はそっくりだが何の薬効も無いもの)を与えた群との間に統計的な有意差が出るかどうかを調べるのですが、その際にも「効果を判定する人」と「薬を投与される人」の両方とも、どちらが本物か偽者かを知っていてはならないのです。このように「両方が」知らずに実験するという意味で「『二重』盲検法」と呼ぶ訳です。
それから「サンプル数」も重要です。数が少ないと偶然により極端な結果が出やすいので、ある程度多くの数を集める必要があります。データ数が多いほど偶然である可能性は低くなりますが、具体的にどのくらいの確率であるかを調べる為に統計的手法を用います。ここで「統計的手法は確率を示すだけで、結果を保証するものではない」点に注意すべきです。「確率が少ない」と「確率がゼロである」はイコールではありませんが、どれほど珍しい事柄であっても偶然に生じる確率は厳密にはゼロになりませんので、便宜上この二つを近似であるとしているのです。
つまり「科学的手法」とは決して「真理かどうかを認定する」ようなものではなく、常に「一定の確からしさを持って『本当らしい』という推測をする」ものであり、そうした手法を丹念に積み重ねていく事によって少しずつ「確からしさ」の確率を上げていくというものです。ですから現在「科学的真理」とされているものは、カッコイイ言い方をすれば「これまでの人類の膨大な知の営みの中で繰り返し検証され、限り無く100%の近くまで確からしさが高められたもの」と言えます。ただ数学的な意味で100%になる事は決してありえないので、この辺にニセ科学が付け入るスキがあると言えばあるでしょう。

最後に「考察」には「結果」から論理的に導ける内容を書きます。つまり「結果」は事実であり「考察」は事実に基づく推論という位置付けになります。今回の研究で解らなかった部分、あるいは最初から対象にしなかった部分は正直にそのように述べるべきですし、判明しなかった部分に関して推測による仮説を述べても構いません。更に、それらの推論や仮説を検証していく為に今後どのように研究を進めていくべきか、まで述べるのが望ましいです。

以上をまとめますと、学術論文とは、まず目的を明らかにし、次に研究方法を正確に示し、その結果は事実のみを推測が混ざらないように記し、最後に自らの見解を述べるというものです。このやり方は論文に限らず、何らかの調査研究的な行為を行おうとする際には原則とすべきものでしょう。
その際に重要なのは4つの論点の分離です。これをきちんと行う事により「目的と手段の混同」とか「事実と推測の混同」などといった、ありがちな誤りを回避しやすくなります。逆に言えば、学術論文のような体裁をとった文章であっても、この辺をわざと曖昧にしておけば、読む人をミスリードするという悪用も可能になる訳です。
---第4回目はここまで---

投稿: PseuDoctor | 2007年12月 4日 (火) 22:30

すっかり間が空いてしまい申し訳ありません(某所で某マイナスイオンの人をちょこっと相手にしてしまったので更に遅れてしまったのは秘密です)。いよいよ実際の技報に対して述べていきます。今回は「テーマ」の問題点です。

最初に2点訂正です。まず、前回の中で「サンプル数」と書かれていた部分を「サンプルサイズ」に訂正します。一応簡単に説明しておきますと「データを幾つ集めたか」というのがサンプルサイズであり「集められたデータ集団が幾つあるか」というのがサンプル数です。つまり「百人からデータを集めた」ならサンプルサイズ=100、サンプル数=1であり、「十人から集めたデータを1セットとして、百セットのデータを集めた」のなら、サンプルサイズ=10、サンプル数=100となります。
それから「松下電工」の社名が「パナソニック電工」に変更されたのに伴い「技報」のURLも変更されていますので、ここで新しいURLを記載しておきます。
http://panasonic-denko.co.jp/corp/tech/report/552j/pdfs/552_15.pdf

-----5回目はここから-----
4.「技報」のテーマの問題点

この技報のテーマとは何でしょうか。前回も記した通り、学術論文として構成されているのなら、テーマは最初に記載されます。そこで技報の「はじめに」を見てみましょう。ここには「これまでに解っている事と、今回の論文で明らかにしたい事(テーマ)」が書かれている筈です。

まず「これまでに解っている事」です。「はじめに」には「毛髪改善技術の一つに,水に高電圧を印加して静電霧化することにより発生する帯電微粒子水の利用」があり、「静電霧化技術を応用した帯電微粒子水発生装置が開発」され、「この発生イオンが室内の消臭,花粉抗原の不活化,毛髪損傷の軽減および余分な頭皮皮脂の低減に効果があることをすでに報告している」と書かれています。これらが「これまでに解っている事」に相当するのでしょう。
しかし、本当に「解っている」と断言して良いのでしょうか?
どのような学問分野でもそうですが、先人の業績を踏まえ、その上に少しずつ新たな知見を付け加えていく、そうした地道な努力を積み重ねた結果として学問の発展があるのです。逆に言えば、先行研究が不確実なものであれば、そこに何を積み重ねたとしても砂上の楼閣になってしまうでしょう。そのくらいなら、何も無い所から始めた方がまだましです。
学術論文に於いて、先行研究の確かさの担保となるのは、参考文献です。参考文献として挙げられているものがきちんとした学術論文であれば、それなりに信頼できる知見に立脚していると判断でき、説得力も増します。その点、技報で挙げられている参考文献はどうでしょうか。論文では末尾に文献リストをつけるのが普通であり、技報にもリストがありますので、それを見てみましょう。

結論から言うと、技報の参考文献の中で「学術論文」即ち「査読付きの学術雑誌に掲載された論文」は1つしかなく、残りは全て学会発表か、技報自身に以前掲載されたものです。これでは信頼性に疑問符を付けざるを得ません。
ここで「学術論文」と「学会発表」との違いについて簡単に述べておきましょう。学術論文は既に述べた様に専門家による査読を経ています。しかし学会発表には基本的に査読はありません。学会にもよるでしょうが、原則として形式さえ整っていれば発表自体を断られる事は稀です。つまり、研究が途中であっても、データが不十分であっても、データの解釈におかしな点があっても、学会発表なら出来るという事です。
勿論、真面目な研究者にとって学会発表は重要な場です。自分の研究の不備や改善点を他の研究者から指摘してもらえる可能性がありますし、逆に、他の研究者が何をやっているかを知る良い機会でもあるからです。その様に学会発表を足がかりにして論文に繋げて行く、というのが望ましい姿ですが、学会発表自体を論文の参考文献にするというのは例外的な行為であり、通常はあまり褒められた事ではありません。

さて、残り1つの文献というのは「エアロゾル研究」という雑誌に掲載されたものですが、当該雑誌のHPを参照したところ、著者は4人なのに何故か技報には1人しか記載されていません。ここは少なくとも "K Okumura et al" 日本語ならば「オクムラキクオ他」と書くべきところであり、3人の共著者に対してちょっと失礼な扱いと言えます。
そして、論文タイトルは "Performance Evaluation of Cluster-DMA with Integrated Electrometer and Its Application to Ion Mobility Measurements" となっています。DMAというのが何の略語か不明なのですが、同じ雑誌の他の論文を見ていくと、どうも "Differential Mobility Analyzer" の事である様です。取り寄せてまで中身を読む気は無いので断言できませんが、タイトルを見た限りでは、技報で述べられている様な「毛髪改善技術の一つに帯電微粒子水の利用がある」点の根拠になる論文とは思えません。何故ならタイトルには毛髪との関連を思わせる様な言い回しが無いからであり、論文の主要な論点がタイトルに反映されていないというのは極めて考え難い事態だからです。
以上の点より、技報のテーマの土台となるべき「既に解っている事」とは、かなりあやふやな内容であると判断します。

次に「今回の論文で明らかにしたい事」です。「はじめに」を読む限りではあくまで目標はペルチェ式静電霧化技術のヘアドライヤへの応用であり、そのために「1)装置の小型化、2)『nanoeイオン』の前方吹出し性の制御、3)霧化電極が露点温度以下に低下するまでのマイナスイオンの発生制御」の3点を改良したという事になります。
要するにこれは「技術的な工夫をしてペルチェ式静電霧化装置をヘアドライヤに搭載するのに成功したよ」という報告であり、その意味に限るなら、まさしく「技報」の名にふさわしいと言えます。ここだけを取り出して見れば、特にテーマには問題ないと言っても良いでしょう。
但し、実際には技報の随所に「nanoeイオン(及びマイナスイオン)は毛髪に良い」というのを前提にした記載があり、しかもそれを補強する為に無理なデータ解釈(詳細は次回以降で述べます)をしています。つまり最初に設定したテーマから内容がはみ出しています。その上、技術的な改善点だけを記載するのではなく「その技術により毛髪に良い影響があった」という事まで書いていますので、論文2本分のテーマを無理やり押し込んだ形になっています。

まとめますと、技報のテーマの問題点としては、まずテーマの前提となる「これまでに解った点」があやふやである事(マイナスイオンのくだりは明確に「不適切」と言っても良いでしょう)があります。次に、当初に設定したテーマから内容がはみ出している事、そして最後に、そのはみ出し方が半端ではなく、事実上1つの論文に2つ分のテーマを押し込んでいる事、が挙げられます。
余談ながら、最後の問題点に関しては、研究で食っている人だったら「何て勿体無い事をするんだ!」と怒るところでしょう。論文の数は研究業績に直結しますので、2本の論文が書けそうなテーマをわざわざ1つにまとめるなど、到底考えられない、ありえない事だからです。
----5回目はここまで-----

投稿: PseuDoctor | 2009年4月16日 (木) 23:09

PseuDoctorさん、今晩は。

ありがとうございます&お疲れ様です。私にとっても、知識の整理になってありがたいです。

ところで、もしよろしければ、という事で、ちょっとお願いが…。

このシリーズが完成したら、全てまとめてエントリーとして上げてもよろしいでしょうか。文は全くそのままで、PseuDoctorさんが著者というのを明記した上で、一つの参照しやすいコンテンツとしてまとめておきたいと思いました。コメント欄に置いておくのはあまりに もったい無いので。

よろしければ、ご検討下さいませ。

------

先日から、PseuDoctorさんもサンプルサイズ普及委員に(←勝手に入れてるし)。活動の甲斐があるというものです。

投稿: TAKESAN | 2009年4月17日 (金) 01:34

こんにちは。

>このシリーズが完成したら、全てまとめてエントリーとして上げてもよろしいでしょうか。
それはもう願っても無い事です。

ただ、
>文は全くそのまま
サンプルサイズのところ(と、技報のURL)だけは、こっそり直しといてくださると有り難いなあ、なんて思ったり。

投稿: PseuDoctor | 2009年4月18日 (土) 13:04

おお、ありがとうございます。

修正、了解です。注釈をつけて、打消し線か書き直しかをすると思います。

投稿: TAKESAN | 2009年4月18日 (土) 13:23

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/13103/7919018

この記事へのトラックバック一覧です: 論文の読み方:

» あらあら内田さん。 [瀬戸智子の枕草子]
内田樹さんのたまのオフなのに愚痴ばかりと言うエントリーを読んで、またまた疑問に思 [続きを読む]

受信: 2007年11月 3日 (土) 14:35

« 批判的思考を鍛えるために | トップページ | 目撃 »