伊藤公一朗『データ分析の力 因果関係に迫る思考法』（１２）
今回は、第７章 上級編：データ分析の不完全性や限界を知る（p.240～）である。
伊藤は、「どのようなデータ分析手法にも不完全性や限界があることを認識しておくことが重要である」として、以下の点について説明している。
１．適切なデータ
データ自体に問題ある場合は、どのような優れた分析手法を用いても信頼性のある分析結果へと仕上げることは困難である。根本的なデータの問題例として考えられるのは、
- データ測定に問題があり、数値が正しく記載されていない。
- 観測値に大量の欠損値が見られる。
- 本来はあらゆる世帯から取得すべきデータが、非常に偏ったサンプルからしか取れていない。
素人でもわかる話である。統計データがどのようにして得られているのかチェックしなければならない。
本書で紹介したような因果関係分析の手法は、データそのものの欠落点を補ってくれる手法ではない。翻って言えば、「適切なデータを作る」という作業は、本書で紹介したような因果関係分析を考える前提条件として必要な作業である。
因果関係分析を始める前に、その前提としてデータが信頼できるものであるのかどうかをみておかなければならない。
２．因果関係と一般化可能性
RCT［Randomized Controlled Trial：ランダム化比較試験］や自然実験手法*1［まるで実験が起こったかのような状況を利用する］用いると「XがYへ及ぼした影響」という因果関係を科学的に分析することができる。しかし、このような方法で得られた分析結果は、厳密に言えば「データ分析に用いられたサンプルに限って論じることのできる因果関係」である。
これを専門用語では、「内的妥当性」、「外的妥当性」と言うらしい。次の説明がわかりやすい。
内的妥当性（Internal validity）＝ 因果推論
内的妥当性とは、「観察された共変する2つの事象に因果関係があるかどうか」ということに関する妥当性です。つまり内的妥当性とは因果推論そのものです。XとYが共変することは分かっていたとする。この2つは「原因」と「結果」であると言うことができれば内的妥当性は高いと表現される。一方で、交絡因子・内生性の問題があり、見かけ上はXとYに関係性があるものの、それが因果関係になければ内的妥当性は低いと考えられる。
外的妥当性（External validity）＝ 一般化可能性（Generalizability）
外的妥当性は、認められた因果関係が、研究対象となったサンプルとは異なった人口集団、状況、治療（介入）、時代などなどにおいても同様に認められるかどうかという評価軸である。外的妥当性が高い因果関係というのは人口集団や時代が変わっても同じような関係が認められる。一方で、外的妥当性が低い因果関係は、観察されたデータでは認められるものの、人や研究の環境が変わると異なった関係が得られてしまう。(津川((津川友介「妥当性（Validity）と信頼性（Reliability）」は、クックとキャンベルの４つの妥当性を説明している。（https://healthpolicyhealthecon.com/2014/12/15/validity-and-reliability/）)))
「内的妥当性」、「外的妥当性」と言わずとも、「因果関係の有無」「一般化が可能かどうか」と言った方が、はるかにわかりやすい。
伊藤は、「外的妥当性」を次のように説明している。
実験［RCT］や自然実験で得られた分析結果が、分析で使われたサンプル以外にも適用できるのか、という問題を「外的妥当性」の問題と呼ぶ。
RCTや自然実験の手法に関して、外的妥当性（因果推論）と内的妥当性（一般化可能性）の関係がまとめられている。（図表7-1）
各章の説明を読み返せば、理解できよう。
図表7-1からわかるように、内的妥当性と外的妥当性の両方を考えた場合、どの分析方法が優れているかという点については一つの答えはなく、状況に応じてそれぞれの分析方法の利点と弱点を考える必要がある。
外的妥当性の問題は、経済学の研究上でも最先端の問題の一つであり議論が続いている。……
伊藤は、以下のような例を考えている。
政府は電力価格が電力消費へ及ぼす影響を調べたいと考えており、分析手法として2つの選択肢があるとする。
- 特定の地域で実験に立候補してきた100万世帯に対してRCTを行うこと
- 日本全国からランダムに選ばれた1万世帯の電力消費データを利用し、各地域の電力会社の過去10年の価格変化を使うことでパネル・データ分析を行うこと
この２つの選択肢のうち、どちらが優れた分析方法か？
この問題に対する伊藤の説明は、ここではあえて省略する。
そもそもの話として、私たちは何を調べたいと考えるか。例えば、Covid-19に関して、私たちは何を調べたいと考えるか？
