浮動点から世界を見つめる

井蛙には以って海を語るべからず、夏虫には以て冰を語るべからず、曲士には以て道を語るべからず

COVID-19:因果関係に迫る思考法(4) 「答えたい問い」のためにデータを作りにいく

新型コロナウイルス感染症(COVID-19)に関するメモ(92)

伊藤公一朗『データ分析の力 因果関係に迫る思考法』(4)

※ 当ブログのCOVID-19関連記事リンク集 → https://shoyo3.hatenablog.com/entry/2021/05/06/210000

今回は、第2章 現実の世界で「実際に実験をしてしまう」― ランダム化比較試験(RCT)の続きである(p.98~)

(お預けにしていた)オバマ陣営の実験結果は、次の通りであった。

f:id:shoyo3:20210911163320j:plain

第1位の画面Bとボタン4の組み合わせ

f:id:shoyo3:20210911163344j:plain

https://www.optimizely.com/insights/blog/how-obama-raised-60-million-by-running-a-simple-experiment/

当初、オバナ選挙陣営は画面Aとメッセージ(ボタン)1(Sign Up)の組み合わせを最も効果的と予想していたが、これは第4位であった。

この実験結果を受けて、オバマ陣営は平均登録率が第1位であった画面案を採用し、実際の選挙活動で使用した。シローカー氏の試算では、AB実験で得られた最適な画面を使用したことによって、当初の画面案と比較して288万人分の追加的メールアドレスが得られ、それによって約6000万ドル(72億円)の追加的支援金が集められたという。

私はこの話を聞いて、「一部の専門家チーム」が議論して出した結論であっても、それが妥当であるとは限らない、ということに留意すべきである、ということを再認識した。論拠なき話し合いは、不毛である(時間のムダである)。

人流抑制等が最適な方策であるというが、その論拠はいったい何だろうか。有効性と安全性の検証は為されているのだろうか? ここで安全性というのは、社会経済文化活動への悪影響を考慮するということである。(因果関係分析の観点から言って)なぜ有効性や安全性が検証されていない施策を受け入れられるのだろうか。

 

オバマ選挙チームの例は、単発の介入効果を検証する実験だったが、ビジネスで行うマーケティング戦略政府が行う公共政策、学校で行われる教育政策など、様々な事例にとって大切なのは短期的な効果だけではない。実は、RCT(ランダム化比較試験)が扱えるのは短期的な効果の分析に限らず、中長期的な効果の検証も含まれる。

ここで伊藤は、RCTの具体例3として、「電力不足はモラルで解決可能か? 価格政策が有効か?」をとりあげているが、これは省略する。

 

「グループのランダム化」は、実際にどのように行えばよいのか?

前回、RCTの鉄則2として、「グループ分けは必ずランダム(無作為)に行う」というのがあったが、このランダム化を実務的にどのように行えば良いのかが解説されている。

第1の方法は、単純ランダム化法と呼ばれるものである。この方法では、実験参加者のリストをランダムに並び替えて、上から順に介入グループと比較グループに分けていく。

(注意)氏名順、郵便番号順、住所順、電話番号順で並べたものなど、乱数以外のものを使って並び替えをした場合ランダムなグループ化は保証されない。

この単純ランダム化法の問題点は、次の点にある。

実験参加者が少ない場合に、属性の異なる人たちが偶然、片方のグループに偏って割り振られる可能性が残る。

実験参加者が少ない場合、グループ間で特性の差が出てしまうことは、容易に理解される。

このような場合に有効な方法が、層化ランダム法(ブロック・ランダム化法とも)と呼ばれる方法である。

この方法では、まずは同じ特性を持つ参加者をブロック(つまりグループ)に分ける、その後、そのブロック内で乱数を用いたランダム化を行う。

(男性10人、女性10人の実験例)性別でブロック化をすると、男性10人、女性10人という2つのブロックができる。その上で、ブロック内で乱数を発生させ、5人ずつを介入グループと比較グループに割り振る。すると、どちらのグループにも男性5名、女性5名の10名が入ることになり、男性が介入グループに偏るといった状況を防ぐことができる。

ブロック化を行う際は、基準となる情報を1つの変数に限る必要はない。例えば、性別と所得という2つの変数を考える場合、4つのブロックを作り、各ブロック内でランダム化をする。

明快な説明で、中学生にも理解できるだろう。

 

RCTの強みと弱み

RCTの最大の強みは、ランダムなグループ分けを行うことで、因果関係を科学的に示せることである。また分析手法や結果に透明性があるため、専門家でない人にも比較的わかりやすい説明ができる。

しかし、RCTも万能ではない。最大の弱みは、実施に当たって費用・労力・各機関の協力が必要になることである。

RCTがいかに優れた方法であるといっても、何がなんでもRCTが必要であると主張するのは極端である。RCTの問題点や限界を認識しておくべきである。

データ分析というと「既に存在しているデータを分析してみる」という作業を思い浮かべる人が多い。しかし、RCTの発想は全く違う。

どちらというと、「答えたい問いのためにデータを作りにいく」という考え方である。

過去のデータを分析しても、(たぶん)説得力のある因果関係の分析にはならないだろう。「当たるも八卦、当たらぬも八卦」の占いに終わる(?)

答えたい問いのためにデータを作りにいく」という考え方は、非常に重要だろう。

COVID-19に関して、「答えたい問い」は何なのか? 「それに必要なデータ」は何なのか?

 

「費用・労力・各機関の協力が必要になる」ため、RCTが実施できない場合に、どのように分析すれば良いのだろうか? 次章から、RCTが実施できない場合の複数の方法論が紹介される。