吉成真由美『知の逆転』（９）
ミンスキーに対するインタビューから離れるが、アルファ碁－思考するコンピュータの話を続けよう。この話の焦点は、次の点にあると思う。
1) 一つのネットワークが次の一手（ポリシーネットワーク、小局）を考え、別のネットワークが勝者（バリューネットワーク、大局）を予測する。
2) ニューラルネットワーク同士で数千の対戦を繰り返し、勝つと得点などの報酬が与えられる強化学習によってネットワークのつながりを修正する。（木村正人）
http://bylines.news.yahoo.co.jp/kimuramasato/20160313-00055372/
(1)だけであれば、専門棋士が打つであろう最良の手をコンピュータが選択するということであり、コンピュータが自ら思考しているとは言えない。専門棋士なら理解できる手を打つ。しかし(2)になると、コンピュータ内部（ネットワーク内）で対戦し、結果を報酬という形で評価して、重みづけ（ネットワークのつながり）を修正する。この重みづけ修正のプロセスに人間は介入していない。専門棋士が理解できない手が打たれる。コンピュータ自ら思考しているといってよい事態である。
ディープラーニングには「弱み」があるという。
一つは、AIが明らかに誤りと思える判断を出力した場合にも、その原因の解析が極めて困難であることだ。イ・セドル氏が勝利した第四局では、AlphaGoは明らかな悪手を繰り返した後に敗北したが、その原因は当のDeepMindのメンバーにも分からなかった。通常のプログラムであればコードを追跡してデバッグできるが、ディープラーニングには人間が読める論理コードはなく、あるのは各ニューラルネットの接続の強さを表すパラメーターだけ。アルゴリズムは人間にとってブラックボックスになっている。
もう一つは、高度に訓練されたAI［人工知能］は、例え結果的に正しい判断であっても、人間にはまったく理解できない行動を取る場合があることだ。特にAlphaGoが勝利した第二局では、プロ棋士の解説者は「なぜAlphaGoの奇妙な打ち手が勝利につながったのか、理解できない」といった言葉を繰り返した。
この点は、AIと人間が共存する環境、あるいはAIの判断が人間の生死に関わるような用途では、大きな問題となる。例えば、自動運転車のAIが、周囲の人間には理解しがたい運転を繰り返すようでは、人間の運転ミスを誘発しかねない。（日経新聞）
人間に理解できない手を打つ（重みづけを自動生成する）、これはコンピュータが人間を離れて、思考していることを示すといっても良いのではないか。
もちろん、これだけでコンピュータが「知能」を持ったというのは飛躍しすぎだ。
「アルファ碁の父」と呼ばれるグーグル・ディープマインドのデミス・ハサビス最高経営者(CEO)は記者会見で「アルファ碁はまだ知能と呼ぶには充分でない。 人工知能としてベータ(公開前ユーザーテスト段階)であり、アルファ(内部テスト段階)でもないプロトタイプ(試作品)にすぎない」と話した。（ハンギョレ新聞）
現在プロトタイプに過ぎないアルファ碁が、アルファとなり、ベータとなれば、「知能」に近づくといってもよいかもしれないが、それでも、これでもってコンピュータが「知能」を持つというのは、「知能」の拡大解釈だろう。
私は、「人間を離れて、コンピュータ自ら思考している」と書いたが、本当にそう言って良いのか、軽率な判断ではないかとの疑念もある。
強化学習においては、「勝敗という賞罰」によって、重みづけを修正している。「勝つのは良い、負けるのは悪い」という規準（前提、目的、価値判断）がある。コンピュータは、「勝つのは良い、負けるのは悪い」という規準に疑問を抱かない。前提、目的、価値判断が与えられていて、それに疑問を抱かない。規準、前提、目的、価値判断が「所与」のものであることを認識できない。変更可能、あるいは変更すべきものであるかもしれないということに気付かない（気付くようにプログラムされていない）。
皮肉な言い方をすれば、規準、前提、目的、価値判断を「所与」のものとし、疑いもせず受け入れている人、即ち、制定された法（ルール）に疑念を抱くことなく法令遵守を唱える人、民間企業の企業目的に疑念をいだくことなく、上からの命令には従わなければならないとする人、公的組織の組織目的に疑念をいだくことなく、上からの命令には従わなければならないとする人、こういった人たちの「知能」のレベルには達するという意味では、「人工知能」と言っても良いだろう。
人工知能が「人工」である意味は、そのような規準、前提、目的、価値判断を人が与えるということであって、それを疑うようには作らないということである。そうすると、どういうことになるか。ここからはＳＦになってくるが、マッド・サイエンティストが「破壊目的」の「人工知能」を作り始めるのである。ありうるのは特定集団を排除する（＝殺戮する）「ヒトラー型人工知能」や、「自爆型人口知能」である。
仮にそのような破壊型の人工知能が封じ込められたとしても、では誰が、規準、前提、目的、価値判断を設定するのか？ Googleなのか、GoogleからＡＩ商品を買った購買者なのか、あるいは政府なのか。
2045年問題…「2045年に人工知能が人間の能力を超える（シンギュラリティ、技術的特異点）」というような話は、「人間の知能とは何か」「人間とは何か」という問いを含み、興味深いものがあるが、おいおい考えていくことにしよう。
https://i.ytimg.com/vi/EJjxCoZ6ZMc/maxresdefault.jpg
ここでは、差し迫った危機すなわち「ＡＩ搭載のロボット戦争」について触れておこう。（ここでのＡＩとは、先ほどの「ヒトラー型人工知能」や、「自爆型人口知能」のことである）。
ＡＩ兵器については、多くの有識者が懸念を表明している。以下、産経ニュースを転載する。
「ロボット戦争」数年で現実に ＡＩ兵器開発禁止訴え、ホーキング博士ら（2015.8.2）
人工知能（ＡＩ）を搭載して人間が操作しなくても自動的に敵を攻撃する兵器の開発禁止を強く訴えて、英国の著名な宇宙物理学者、スティーブン・ホーキング博士（７３）らの研究者グループが公開書簡を発表した。書簡では、現在のＡＩ技術は数年内に兵器利用を実現できる水準にあり、放置すればこの分野の軍拡競争を招き、「ロボット戦争」が起きかねないと警告。自律型人工知能兵器は戦争において、火薬と核兵器に次ぐ「第３の革命」になると指摘した。ロボット戦争の恐怖については、映画「ターミネーター」などによって世界で認識が広まったが、それは想像以上に間近に迫っているようだ。（ＳＡＮＫＥＩ ＥＸＰＲＥＳＳ）
１０００人以上が署名
書簡は、７月２８日から１日までアルゼンチンのブエノスアイレスで開催された国際人工知能会議（ＩＪＣＡＩ）で、米国に拠点を置く民間の研究支援組織「フューチャー・オブ・ライフ・インスティテュート（ＦＬＩ）」が取りまとめて発表した。
１０００人以上の有識者が署名し、この中にはホーキング氏のほか、電気自動車のテスラ・モーターズや宇宙ベンチャーのスペースＸを設立したイーロン・マスク氏（４４）、ＡＩ研究の第一人者であるジェフリー・ヒントン博士（６７）、アップルの共同創設者であるスティーブ・ウォズニアック氏（６４）、言語学者、社会哲学者のノーム・チョムスキー氏（８６）らそうそうたる著名人が名を連ねている。
簡単な生産・入手
ホーキング氏らはまず、「主な軍事大国でＡＩ兵器の開発を先んじて進める国があれば、世界中で開発競争が起こることは不可避だ。進歩の行く末は明らかであり、ＡＩ兵器は明日の（簡単に入手でき性能も高い）カラシニコフ銃になる」と警告。さらに「核兵器と違ってＡＩ兵器は入手困難な原料なしで大量生産できるため、普及しやすい。闇市場に流れればテロ組織の手に渡ることが懸念される。実際に配備されてからではもう遅い。人為的な制御を施さなければ、それは数十年後といわず数年後にも可能となる」との見方を示した。
当面、ＡＩ兵器として想定されているのは、人間の遠隔操作を離れて標的の探索や攻撃判断を自ら行う小型無人機（ドローン）などだ。ＡＩ兵器が危険とされる理由には、コピーが容易で不拡散の監視が困難なことに加え、一般に、（１）誤判断が生じ、味方や無関係の市民に攻撃を加える可能性が排除できない（２）戦場で兵士が犠牲になるケースを減らすことができる一方で、却ってそのことが戦争を引き起こしやすくする－などが挙げられる。
米露では加速
実際には、書簡が示した懸念とは裏腹に、すでに米露ではＡＩ兵器の開発が着手されている。ロシアでは拳銃を発砲する戦闘ロボットの開発が進められ、今年、戦闘用ヒューマノイドロボットの試作機を完成させた。米国でも国防総省傘下の国防高等研究計画局（ＤＡＲＰＡ）が、自力で判断して敵を攻撃する自律型人工知能兵器の開発を加速させているとされる。
ホーキング氏とマスク氏は兵器だけでなく一般的なＡＩに関しても、これまでにその危険性について警告を発してきた。「２００１年宇宙の旅」や「ターミネーター」などのＳＦ映画の世界ではたびたび人工知能で自律行動するロボットが現れ、人間に危害を加えてきたが、創作物だからこそ、安心して見ていられたに過ぎない。人間の介入なしに戦闘や殺害が可能な兵器の開発は、芽のうちに摘み取る必要がある。
http://www.sankei.com/life/news/150802/lif1508020014-n1.html
ＡＩについては、自動車の「自動運転技術」のような話がマスコミに取り上げられやすいが、それは即兵器に転用可能な技術なのである。だからそのような技術開発を止めよというのではなく、ホーキングらの警告を受け止め、どう対処すべきなのかを考えなければならないということなのである。
ＡＩ兵器のことなどあずかり知らぬと「自動運転技術」の開発に没頭する科学者・技術者たちのモラルに危惧を覚える。マッド・サイエンティストは、「それは人工知能ロボットがしたことであって、私は関知しない」と言うであろう。
