怖い時代がやってくるのかもしれない。
じっとしてはいられない。
人間の手で作られたロボットが自律し、人間を殺す日が近づいているのでしょうか。
21世紀が進むにつれて、映画「ターミネーター」で描かれていたような近未来図が少しずつ現実になりつつあります。今後人工知能（以下「AI」）が更なる発展を遂げれば、殺人という汚らわしい仕事はロボットに任される時代が来るのかもしれません。
MITの物理学者で「Future of Life Institute（生命の未来研究所）」創始者でもあるMax Tegmark（マックス・テグマーク）氏は、アメリカで2017年8月29日に発売された最新の著書『Life 3.0: Being Human in the Age of Artificial Intelligence』（直訳：Life 3.0～人工知能の時代に人間であること～）の第3章において、AIの軍事利用について数々の事例を紹介しながら考察しています。AIの軍事利用がもたらす利点とは？ そして、その代償とは？ 今後人類が直面する最大のハードルは、AIの軍事利用を放棄するよう世界中の国々を説得することだとテグマーク氏は結論づけています。
AIには人間の存在に関わるほぼすべての事柄を変えるポテンシャルがありますが、人間がこの絶大な力をコントロールしきれるかどうかはまだ分かっていません。AIの躍進は今後人間にとって便利で、快適で、公平なユートピアを実現するかもしれないし、あるいはジェームス・キャメロン監督が描いたような機械に支配された恐怖の世界をもたらすかもしれないのです。
テグマーク氏の懸念のひとつに自律兵器があります。AIを搭載して完全に自律した「キラーロボット」――まさしく「ターミネーター」――が戦場に送り出されたが最後、人間は敵を殺すプロセスに一切関与しなくなります。そんな技術が実装されたら、予期できなかったトラブルやリスクがどんどん明るみに出てくるはずだと、テグマーク氏は警告しています。
米Gizmodoが、テグマーク氏の刊行されたばかりの新著『Life 3.0』を版元の特別な許可を得て抜粋・紹介していましたので、翻訳してお届けします。ちょっと長いですけど、興味深い内容なのでどうぞ最後までお付き合いください。
近未来：技術の革新、バグ、法律、兵器、そして人間の仕事（『Life 3.0』第3章より）
太古の昔から人類は飢えと病いと戦いに苦しめられてきた。近い将来、AIが飢饉と病理を減らす手助けをしてくれるかもしれないが、戦争はどうだろう？
Image: LIFE 3.0: Being Human in the Age of Artificial Intelligence by Max Tegmark, © 2017 by Max Tegmark. Published by arrangement with Alfred A. Knopf, an imprint of The Knopf Doubleday Publishing Group, a division of Penguin Random House LLC.
核兵器を保有している国同士は、その核兵器の恐ろしさゆえに戦争を避けるだろうと考える人たちがいる。ならばいっそのこと、それよりはるかに恐ろしいAI兵器をすべての国が開発できるようにしてしまえば、戦争はもう二度と起こらないのではないか？ 「いや、それでも戦争は起こる」と考え、この論調に納得できないなら、AIを使ってもっと人道的な戦争を目指すのはどうだろう？ AI兵器がAI兵器と戦う戦争になれば、兵士や一般市民は殺されなくても済むはずだ。AIを搭載したドローンなど、これからさらに開発が進んでいくであろう自律兵器（autonomous weapon systems＝AWS。敵からすれば「キラーロボット」）は、生身の人間の兵士よりも公平、かつ理性的に行動するように設計できるはずだ。人間の認知能力をはるかに超えたセンサーを装備し、死を恐れないAWSは、戦闘の混乱のさなかでも冷静さを失わず計算どおりに行動できるから、間違って一般市民を殺すようなミスを犯す確率も低いのではないだろうか。
人間の関与
ところが、もしそのAWSがバグっていたり、紛らわしかったり、想定どおりに作動しないとしたらどうなるだろう？ ここにひとつ実例を紹介しよう。アメリカ海軍のイージス艦に搭載されているファランクス（艦艇用近接防御火器システム）は、魚雷や攻撃してくる飛行物体などを自動的に検出、追跡して攻撃できる。アメリカ海軍のミサイル巡洋艦ヴィンセンスもそのようなイージスシステムを持っていたため、「ロボ戦艦」とあだ名がつけられていた。
イラン・イラク戦争勃発後の1988年7月3日。イランの小砲艦との衝突の最中に、ヴィンセンスのレーダーが接近してくる飛行物体をとらえて警告した。ウィリアム・ロジャーズ三世艦長はイラン軍のF-14戦闘機が急降下して爆撃体制に入ったのだと推測し、イージスシステムに射撃の許可を下した。
当時の彼は知る由もなかったのだが、ヴィンセンスが撃墜したのはイランの民間旅客機、イラン航空655便だった。乗員乗客290人全員が死亡し、国際的な非難の嵐を浴びた。
事故後の検証により、ヴィンセンスに搭載されていたイージスシステムの紛らわしいユーザーインターフェースが誤解を招いたとされた。イージスシステムが近隣の飛行物体をレーダースクリーン上の点としてとらえる際、どれが民間機であるかを自動的に表示しないばかりか（655便は民間機のトランスポンダーをつけており、定期航路を飛行していたにも関わらず）、降下している（攻撃に備えている）のかも、上昇している（655便がテヘラン空港からテイクオフしていたように）のかも表示しなかったという。
そのかわりに、ヴィンセンスのイージスシステムはレーダー上に現れた655便について問われて「降下している」と答えた。システムが同時に検知した別の飛行物体のステータスが「降下中」だったためだ。不可解なことに、システムはその別の飛行物体に655便と同じトラッキングナンバーを割り当てていた。実際降下していたのは、はるかオマーン湾で任務についていたアメリカ空軍の地上戦闘用のパトロール機だった。
この事例では、人間が最終的な決断を下す立場に置かれていたにもかかわらず、即決を迫られるプレッシャーに押されて自動システムを過信してしまった。現在の開発段階においては、世界中に配置されたあらゆる兵器（地雷などローテクな仕掛けを除いて）を作動するには、人間の判断が不可欠だと軍事関係者は口をそろえる。しかし、完全に自律し、自動的にターゲットを選択し攻撃する兵器の開発は今、確実に進められつつあるのだ。攻撃をより速くするために、人間を意思決定の手順から完全に取り除いてしまうのは魅力的である。機械と機械が戦う世界において、完全に自動化され一瞬にして攻撃可能なドローンと、人間が遠隔操作しているがために反応が鈍いドローンとでは、はたしてどちらが勝つだろうか？
ファランクス艦艇用近接防御火器システム。Image: US Navy via Gizmodo US
人間の判断のおかげで危機一髪を免れた非常に幸運な例もある。1962年10月27日、キューバ危機最中のことだ。アメリカ海軍の 駆逐艦 11隻と、空母ランドルフがソビエト連邦のB-59潜水艦をキューバ沖の国際海域で包囲した。その時アメリカ軍が知らなかったのは、潜水艦の内部が危機的状態に陥っていた事実だった。内蔵バッテリーが切れかかっていたため潜水艦の空調システムが停止し、艦内の温度は摂氏45度を超えていた。二酸化炭素中毒の瀬戸際まで追い詰められた乗務員の多数はすでに気を失っていた。モスクワとはもう何日も連絡を絶っており、第3次世界大戦がはじまっていたとしてもその事実を知らされていない状況だった。そこへ、アメリカ軍がB-59めがけて小爆雷を落とし始めたのだ。モスクワへの威嚇行為であり、「水面に上昇し、海域から退出せよ」との意味合いを含めていたというが、潜水艦の乗組員にこの警告は伝わらなかった。
当時のB-59乗組員のひとり、V.P. Orlovはこう語る。「これでなにもかもが終わりなんだ――だれもがそう思った。鉄の潜水艦に閉じ込められ、外から絶え間なくトンカチでぶったたかれているような感じがした」
アメリカ軍が知らなかった事実はほかにもあった。B-59は弾頭に核爆弾を積んだ魚雷を搭載していた。しかもモスクワとの連携なしに独自の判断で発射する権限を持っていたのだ。はたして、Savitski艦長は核魚雷を発射すると決断した。魚雷士官だったValentin Grigorievich艦員は「われわれは死ぬが、やつらもすべて沈めてやるぞ！ 我が海軍の誇りにかけて！」と叫んだそうだ。
幸運なことに、核魚雷を発射するには3名の海軍将校の許可が必要であり、その中の1名、Vasili Arkhipovが拒否権を行使した。今日においてArkhipovの名を知る人こそ少ないが、彼の英断こそが、近代史における人類への最大の貢献だったのではないだろうか。彼のおかげで第3次世界大戦を回避できたのかもしれないからである。もしもB-59が完全自動化されたAI搭載機で、人間の判断が関与していなかったらと考えると、ひやりとする。
20年後の1983年9月9日、またしてもアメリカ－ソビエト連邦間の緊張感が高まっていた。当時のアメリカ大統領、ロナルド・レーガンはソ連を「悪の帝国」と批判し、その1週間前にはソ連が自国の空域に迷い込んだ大韓航空007便を撃沈し、ひとりのアメリカ下院議員を含む269名の命が失われていた。
そのような状況の中、ソ連の自動早期警告システムが作動し、アメリカがソ連に向けて核ミサイルを5発発射したと伝えてきた。担当していたStanislav Petrov士官がこの警報の真偽を判断するのに許された時間はほんの数分だった。ミサイルを検知した人工衛星が正常に機能していることが確認された以上、マニュアルどおりであればPetrov士官はこの時点でアメリカからの核攻撃を上部に報告しなければならなかった。しかし、彼は自分の直感を信じた。アメリカが本気で攻撃してくるのならミサイル5発では済まないだろうと判断し、真偽はわからぬままに、上部には誤報だったと報告したのだ。後になって、人工衛星が雲に映った太陽光の照り返しをロケットエンジンの炎と誤認識したことが明らかになった。もしPetrov士官がAIシステムに取り変わられて、マニュアルどおりの手続きを順守していたらどうなっていたのか、案じずにはいられない。
＊
大量生産ベースに乗れば、小型のAIドローン兵器の値段はスマートフォンより若干高いぐらいだろうと言われている。政界の要人を暗殺したいテロリストであれ、フラれた腹いせから元彼女に復讐を誓う恋人であれ、AIドローンを利用することはいとも簡単だ。ターゲットとなる人の写真と所在地をドローンに読み込めば、あとはAIまかせでドローンが自動的に犯行現場に向かい、ターゲットを確認して抹殺し、犯行後は自爆して証拠隠滅を図れるという具合だ。または、民族浄化に余念がないのであれば、AIドローンに特定の肌の色や人種の特徴を持った人のみを殺すようプログラムできる。カリフォルニア大学バークレー校のAI研究者、Stuart Russell教授の推察では、AI兵器が賢くなればなるほど、一回の殺人にかかる材料費、燃料費などのコストが減少するそうだ。例えば、クマバチ程度の小さいドローンを開発できれば、最小限の爆薬を使って眼球を狙撃し、低コストで暗殺できるという。人の眼球はやわらかく反発が少ないので、小さな弾丸でも脳まで貫通させてしまう。あるいは、ドローンが金属質のツメで人の頭にガッチリとしがみつき、そこから極小の成形炸薬弾を打てば、頭蓋骨を貫通して脳髄を破壊できる。そのように小さなキラーマシンがトラックの荷台に何千万と積まれて送り込まれたとしたら、人類は今までに類を見ない恐ろしい大量破壊兵器と対面することになる。それらのキラーマシンは、事前に設定されたカテゴリーの人種のみを自動的に探し出し、殺す。他の人や物は、まったく影響を受けないだろう。
このような懸念を払拭するためには、AI兵器を道徳基準にかなった設計にすればいいという反論をよく耳にする。例えば、戦場においては敵軍の兵士のみを殺すように設定すればいいという主張だ。残念ながら、AI兵器が開発されないように国際的な規制をかけるのがそもそも困難であるのに、100％道徳基準を満たしたAI兵器を開発するよう法律で定めるのはもっと難しいのではないだろうか？ そもそも、責任ある文明国において訓練を受けた職業兵士よりも、ロボットのほうが常に道徳的であると言い切れるのだろうか？ また同時に、テロリストグループや独裁者、ほか無法国家の暴君が法を順守し、必ず道徳的な規準に従ってロボットを送り出してくると言い切れるのだろうか？ このような観点から、何千ものAI研究者は完全自律稼働型兵器の先制的な全面禁止を訴えている。
サイバー戦争
AIの軍事利用についてはもうひとつ興味深い側面がある。武器を持たずとも敵をサイバー攻撃できるのだ。未来を予感する小さな前兆として、スタックスネットというコンピュータワームがある。広くアメリカとイスラエル政府に由来すると考えられているこのワームは、イランの核濃縮プログラムを感染させて遠心分離機を自己破壊させた。社会の自動化が進むにつれ、そして攻撃してくるAIの破壊力が増していくにつれて、サイバー戦争は比例を見ない惨事となりかねない。敵の自動運転車や自動操縦機、原子力施設、工業機械、コミュニケーションや金融システム、電力グリッドなどにハッキングをしかけて破壊すれば、敵国の経済を傾かせ、防衛機能を著しく低下させることができるのだ。ついでに敵国のAI兵器もハッキングできれば、なお効果的だ。
＊
ハッキングに対して強固であれば、AI技術が人類にもたらす短期的なメリットは数知れないのも事実だ。AIそのものがAIを強固にし、サイバー攻撃に備えることもできる。それと同時に、敵側にも同じことが言えるので油断はならない。サイバー攻撃に耐えうる防御システムを保持することが、当面のAI開発においての最大の目的となるだろう。なぜなら、守り抜けなかった場合は、AI技術が寝返ってこちらに牙を向けてくるはずだからである。
Image: Shutterstock.com, US Navy, The Knopf Doubleday Publishing Group
Source: LIFE 3.0: Being Human in the Age of Artificial Intelligence by Max Tegmark, © 2017 by Max Tegmark. Published by arrangement with Alfred A. Knopf, an imprint of The Knopf Doubleday Publishing Group, a division of Penguin Random House LLC.
George Dvorsky – Gizmodo US［原文］
（山田ちとら）
