伊藤公一朗『データ分析の力 因果関係に迫る思考法』（１３）
今回は、第７章 上級編：データ分析の不完全性や限界を知る の続き（p.249～）である。
外的妥当性［一般化可能性］の問題と関連して、「出版バイアス」と「パートナーシップ・バイアス」の問題の説明がある。
出版バイアス
ある研究者が「XがYへ及ぼした影響」という因果関係を検証したとする。そして分析の結果、影響はゼロだった、つまり因果関係は皆無だったという発見が出てきたとする。本来この結果自体が有用な科学的発見のはずである。しかし、この研究者が「因果関係はゼロだったという結果は、学術論文として売り出しにくい」と判断してしまったとする。…こういった風潮は、論文を書く側にも、そして論文を評価する側身も完全になくなっているとは言い切れない。
このような出版バイアスがあると、…実験設計の段階で研究者は「XがYに影響するであろう」状況下で実験を試みる誘惑に駆られてしまう。例えば、ある消費者のグループを対象とした実験をすると効果が出そうになく、別の消費者グループを対象とすると効果が強く出そうだと、という先入観があったとする。すると、効果が出そうな消費者を実験の対象とする、という発想につながる可能性がある。
データ分析者が効果のありそうな特殊なケースばかりを狙ってRCTを行ったとすれば、当然ながら、他の地域や他の消費者に対しては思ったほどの効果が出てこないことになる。つまり、出版バイアスは、外的妥当性［一般化可能性］に関して脆弱なデータ分析を誘発してしまう。
科学として本来あるべき姿は、「効果がゼロだったケース」についても論文として発表し、研究成果として世の中に残すべきである。しかし。論文を書く側や論文を精査する側が「効果が無かった」という論文は出版しにくいと判断した場合、こういった研究結果がお蔵入りして、世の中に出てこない可能性が高まる。
出版バイアスは、研究者というよりは、出版社側に存在する（簡単に言えば、売れないものは出版しない）と言えるのではないだろうか。これは「目を引くもの」「目新しいものを」「刺激的なこと」を報道しようとすることと同じである。研究者はそれに引きずられる。結果、一般化可能性の低い分析結果を出し、マスメディアは、それを大きく取り上げる。
「XがYへ及ぼした影響」が想定されたにもかかわらず、因果関係が不明であったならば、それは有用な情報であることは、科学者なら誰もが知っていよう。「XがYへ及ぼした影響」（仮説）を前提に、政策が立案実施されているならば、因果関係不明の情報の無視（隠蔽）は、有害でさえあり得る。
https://dailybruin.com/2011/01/19/publication_bias_creates_problems_in_research_process
パートナーシップ・バイアス
データ分析専門家が「協力してくれそうなパートナー［企業や政府機関］」ばかりを優先的に選んでRCTなどの分析を行ったとすると、外的妥当性［一般化可能性］から見てバイアスがある分析結果が出てくる。…パートナーを選ぶという過程自体が研究者の思惑や分析の実現可能性に影響される限り、パートナー選びが分析の外的妥当性［一般化可能性］に影響を与えてしまう。
企業や政府機関は、それぞれの組織目的を持っていようから、それを阻害するような結果が想定されるようなことを避けようとするバイアスがかかるであろう。研究者は、パートナーに忖度し、バイアスのかかった分析結果を出す可能性が大きい。
介入に「波及効果」が存在する場合の注意点
RCT［Randomized Controlled Trial：ランダム化比較試験］や自然実験［まるで実験が起こったかのような状況を利用する］の基本は、介入グループと比較グループという考え方であった。RCTの場合、適切な実験設計をすれば、2つのグループに表れた結果の差を比較することで「XがYへ及ぼした」介入効果を分析することができる。
以上の議論が成り立つためには、厳密に言うと第2章でふれた仮定*1以外に追加的な仮定が必要である。この追加的な仮定とは「介入グループに介入を与えることが、比較グループには影響しない」というものである。
介入が比較グループにも影響してしまえば（介入の波及効果）、当然、介入効果を正しく推定できなくなる。
実験設計者はこの問題に対してどのような対策ができるか？
- 介入グループとなる対象群をどのレベルに設定するのか、注意深く考えること。［波及効果が生じにくいレベルに設定する］
- 介入効果の分析に加えて「介入の波及効果」の分析自体も別個にできるような実験設計を行うこと。
この「介入の波及効果」の分析というのが興味深い。伊藤が紹介している事例の「年金プランに関する説明会」を、
「マイナンバーによる資産所得把握システムに関する説明会」、「日本の防衛力強化に関する説明会」など、自分の関心事項に置き換えて理解したら良いだろう。以下、論旨を変えないで、表現を若干変更してみよう。
この「介入の波及効果」の分析というのが興味深い。伊藤が紹介している事例の「年金プランに関する説明会」を、
「マイナンバーによる資産所得把握システムに関する説明会」、「日本の防衛力強化に関する説明会」など、自分の関心事項に置き換えて理解したら良いだろう。以下、論旨を変えないで、表現を若干変更してみよう。
- この実験で介入グループに入った人たちは、説明会に参加すると2万円を受け取ることができる。
- まず、説明会対象集団を、介入集団と比較集団にランダムに分ける。
- 次に、介入集団に所属するメンバーを、更に介入グループと比較グループに分ける。つまり、実際に介入を受けたのは、介入集団に所属し、かつ介入を受ける個人として選ばれたメンバーだけである。
- その上で、以下の3つのグループについて、説明会への参加率を調べる。
①比較集団に所属する（介入を受けなかった）メンバー 参加率：20%
②介入集団に所属し、介入を受けたメンバー 参加率：30%
③介入集団に所属し、介入を受けなかったメンバー 参加率：25%
まず、①と②のグループを比較することで、「介入を受けたメンバーは、介入を受けなかったメンバーよりも説明会への参加率が高かった」ということが示された。つまり、2万円の介入が説明会への参加率を上げた。これは介入効果である。
ここで、もしも③の参加率が①に比べて高かった場合、③と①の参加率の差が波及効果を示す。何故なら、介入集団に所属したメンバーは、例え自分自身が介入を受けなくても、介入を受けて説明会に行こうと考えた同僚・友達に感化（勧誘）されて説明会に参加したと解釈することができる。
一般均衡的な効果が存在する場合の注意点
予算の制約などの関係上、RCTは比較的小さな規模で行われることが多い。しかし、小さな規模で行った実験の結果が、大規模に行われる実際の政策介入と同様の結果を生むかどうかについては慎重な検討が必要である。
伊藤はアメリカにおける「少人数学級の教育効果」の例をあげている。テネシー州での79の小学校を対象としたRCT（1986年）では、生徒の平均成績が上がるという結果が得られたが、カリフォルニア州での少人数学級拡大政策（1996年新法制定）では、非常に小さな効果しか出なかった（違いが出た理由の説明は省略）。要は、「実際の政策において介入が広範囲に行われた場合、介入が、想定されなかった要素へも影響を及ぼすことがある」ということである。
今回で、本書の読書ノートを終了する。
*1:2つのグループの比較で、平均介入効果を測定するための仮定…もしも価格の上昇という介入（X）が無かった場合、比較グループの平均消費量（YC）と介入グループの平均消費量（YT）は等しくなる。（2021/08/21 COVID-19：因果関係に迫る思考法（２）参照）
