『超知能ＡＩを作れば人類は絶滅する』（早川書房）エリーザー・ユドコウスキー＆ネイト・ソラレル著、桜井裕子訳　　スーパーインテリジェンスが人類を絶滅させる恐ろしい未来　“ＡＩマゲドン”はいかなる手法で世界を破滅させるのだろう？

原題は「ＩＦ　ＡＮＹＯＮＥ　ＢＵＩＬＤＳ　ＩＴ，ＥＶＥＲＹＯＮＥ　ＤＩＥＳ」で、『誰かがそれを作れば、みんな死ぬ』だ。まさにＡＩ論議たけなわのタイミングだから、全米でベストセラーとなった。評者（宮崎）、じつは原書を半分ほど読んでいたが、ＡＩ用語で分かりづらいところがあり、そんなときに日本語訳がでていることを知った。

ユドコウスキーはろくに学校を出ておらず、在野にあって素浪人の哲学者だった。或る時、ピーター・ティールと出会って、共鳴し、資金援助を受けてシンクタンクをつくった。共著者のソラレルは、そのシンクタンクの所長である。

「ＡＩ時代の黙示録」とも評価され、一方でスーパーインテリジェンスが実現したら人類は滅亡するなどとノアの箱舟的な預言書だから、人びとの注目を集める。核戦争の恐怖、伝染病の恐怖がつねに世界に降りかかっているときにＡＩブームは毎日にようにスペースＸが上場するとか、オープンＡＩが上場を申請したかの熱狂的ブーム報道とともに脅威のニュースを運んでくる。

ＡＩの碁、チェスは人間の名人を負かした。それは過去の全試合のパターン認識が豊富だからで、裁判でも過去の判例を記憶していれば適切な判決文例を五分とかからないで作成する。だから裁判官は要らなくなると言われるのだ。実際、日本でも２０２６年５月２１日から民事訴訟は訴状の作成と受理と判決もＡＩとなった。

問題をチェスに喩えてユドコウスキーらは言う。

「ＡＩが駒を守り、罠を仕掛け、相手の防御の隙を突き、最終的に勝利する時、ＡＩが勝利を『欲している』と表現する。ここで議論したいのは、機械に感情があるかどうかではない。たんにそとから見た『勝つための行動』をあらわすための用語が必要で、それにもっとも近いように思えるのが、勝利を『欲している』という言葉だと言うわけだ（中略）。なぜなら欲求は何かを達成するのに非常に役立つ戦略だからだ」（日本語版５５ｐ）

ここで問題は、その「欲する」というのはＡＩが意識をもったか、どうか、ではないか。

しかし一方、「ＡＩは意識をもつことはない」というのが、アメリカの学界では多数意見であり、その代表的な論者はジョン・シーレである。

シーレは「意識とコンピューティングと、情報と、認知は違う次元のものだ」と唱えた。

「人間の文明も、貨幣システムも政府機構も意識から創造されているが、ＡＩはそのツールでしかない。コンピューティングによるＡＩには思考、追憶、決定、欲求、理由付け、動機、学習において人間と同等な機能をもってはいない」として、「人工知能は実際の胃袋も持たず、たとえ人工心臓を得ても、そこから血液が循環するわけでもなく、人間の営為を実際に機能してはいない。人工知能のいう「意識」とは修辞学的表現であって人間の脳とは違う」（『ニューヨークレビュー』、２０１４年１０月９日から拙訳）

シーレが、同時に批判しているのは同じくＡＩの危険性を警告したニック・ボストロムの『スーパーインテリジェンス　～～超知能ＡＩと人類の命運』である。超知能が出現すると人類滅亡の危険性が増す」とした浩瀚な書物だが、一点、ユドコウスキーと異なるのはＡＩと道徳の問題を論じている箇所である。

類書はともかくとして本題に戻る。ユドコウスキーは、こう警告するのだ。

「成熟したＡＩが持つようになる選好は、複雑で実質的に予測不能であり、ＡＩをどう訓練しても、人間自身の選好と志剛する可能性はなきに等しい。（中略）ＡＩを米軍史観の命令に服従するよう訓練することは出来るし、ＡＩはおそらくまだ若くて愚かなうちは服従多岐な行動をとるだろう。だがＡＩが『服従のスクラロース版』を発明する力を持ったときに実際にそれを生み出す事態を避ける方法は、だれも知らないのだ。問題は、ＡＩ企業の幹部がＡＩ召使いをつくって邪悪な行動を命じることではない。ＡＩはかれらの制御下にはない」（７８ｐ）
「ではＡＩが世界を動かす力を持ち、かつその力を利用できるほど賢くなったら、何が起こるだろう？」

「ＡＩが訓練されて超知能になるかも知れない。多くのＡＩがＡＩ研究に貢献し、まったく新しいパラダイムを用いて超知能ＡＩを構築するかもしれない」のだが、その「行き着く先は、奇妙で異質な選好を持つ機械超知能の想像である。そしていつか地球の全資源を独自の奇妙な目標のために転用することを望む機械超知能が現れるだろう」（１１０～１１１ｐ）

「超知能が人類に勝利できることは、私たちはきわめて確度の高い予測に思える。おそらく超知能は、人類が可能だと考えもしない、原理的に許されないように思える異様な技術で攻撃してくるだろう」（１１５ｐ）。

既存の恐怖は核戦争、疫病だが、これらとは異なる最終兵器をAIが発明するところへ進む可能性が高いと、本書は予想する。ならば対策は？？