昨年8月、地上の米海軍オペレーターは、メリーランド州上空を飛行中のファイア・スカウト・ヘリコプターとの連絡を完全に失った。地上通信が途絶えた場合、無人航空機は発射地点に戻るようプログラムされていたが、同機は首都に向かって北北西方向に離陸した。その後30分で、軍当局は連邦航空局と北米航空宇宙防衛司令部に警告を発し、無人航空機の迎撃にF-16戦闘機を配備した。最終的に、ファイア・スカウトがホワイトハウスからわずか数マイルの地点まで接近した時点で、海軍は制御を取り戻し、帰還を命じた。その後数日、あるニュースの見出しは「反逆的な無人機、首都付近の空をさまよう」と警告した。別のニュースは「無人機、人間の抑圧者に抵抗、ワシントンD.C.上空を快走」と宣言した。
ファイア・スカウトは非武装で、SF小説で描かれるロボットが必然的に賢くなって立ち上がるために必要な知性や自律性を備えた機械とは到底言えない。しかし、世界最大の軍隊は、主に機械で構成される戦闘部隊へと急速に生まれ変わろうとしており、これらの機械をより賢く、より自立したものにするために懸命に取り組んでいる。3月、アシュトン・カーター米国防次官（調達・技術・兵站担当）は、「前例のない、おそらく想像もできないほどの自律性が、現在および将来の軍事システムに導入される可能性がある」と指摘し、各軍が「この分野における進歩を最大限に活用」できるよう、自律性に関するタスクフォースの設置を求めた。
イラクとアフガニスタンでは、米軍部隊は地上と空中で約2万台のロボットと遠隔操作車両（RTV）を投入している。CIAは定期的にパキスタンにドローンを潜入させ、アルカイダ工作員と疑われる者やその他の標的を爆撃している。議会は2015年までに全軍用地上車両の少なくとも3分の1を無人化するよう求めており、空軍はすでに戦闘機と爆撃機のパイロットを合わせた数よりも多くの無人航空機操縦士を毎年訓練している。空軍の科学目標を詳述した最近の空軍報告書「テクノロジー・ホライズン」によると、軍用機は「現在可能な範囲をはるかに超えるレベルの自律機能」と「サイバースピードで広範囲にわたる自律的な意思決定を確実に行う」能力を獲得するだろう。ある空軍上級エンジニアは私にこう語った。「今日我々が行っているほぼすべての任務を無人システムが遂行する姿を想像できる」。あるいは、陸軍無人航空機システム研究センター・オブ・エクセレンスの元所長であるクリストファー・カーライル大佐が言ったように、「SFと科学の違いはタイミングだ」のだ。
このギャラリーには、これまでで最も強力で恐怖を煽るロボットをいくつか集めました。サムネイルをクリックすると、ロボットがどのようにより速く、より賢く、より凶暴になっているか、さらに詳しくご覧いただけます。
軍の抜本的な再編は驚くほど進んでいるが、米国も他のどの国もロボットに関するドクトリンや、軍用機械に関する明確な方針さえ策定していない。英国シェフィールド大学の人工知能・ロボット工学教授、ノエル・シャーキー氏は、各国はこうしたシステムを構築するとすぐに配備したがっていると指摘する。「国際的な議論は全く行われていません。誰も互いに話し合うことなく、すべてが進んでいます」。ブルッキングス研究所フェローのP・W・シンガー氏は、近著『Wired for War: The Robotics Revolution and Conflict in the 21st Century』の中で、ロボットや遠隔操作兵器は、火薬、機械化、そして原爆がかつての世代にもたらしたのとほぼ同様の方法で、戦争や世界を大きく変革しつつあると主張している。しかし、シンガー氏は大きな変化も認識している。「私たちはムーアの法則を経験しています」とシンガー氏は、コンピューターの処理能力は2年ごとに倍増するという格言を引用し、「しかし、マーフィーの法則はまだ超えていません」と語った。ロボットははるかに高い知能、より高度な推論能力、そして自己適応能力を備え、そして当然ながら破壊力もさらに強まるでしょう。では、これらの軍用機械に起こりうるあらゆる問題が、実際に起こりうるとしたら、それは何を意味するのでしょうか？
空軍の主任科学者であり、「テクノロジーの地平線」の主執筆者であるヴェルナー・ダーム氏に、この質問をしてみた。ダーム氏は、海軍のファイア・スカウト事件に関するニュース報道でよく見られるような、ハリウッド映画が作り出したような恐怖を、空想的なものだとして一蹴した。「最大の危険は、誰もが想像するようなターミネーターのような、機械が支配権を握るというシナリオではない。物事が破綻するのは、そういうわけにはいかない」とダーム氏は述べた。彼が本当に恐れているのは、強力な軍事システムを構築し、「人間だけが担っている重要な機能を奪い取る」ことであり、機械が任務を遂行できないことに気づくのが遅すぎることだ。「私たちは目をそらし、10年後には技術が十分に進歩していなかったことに気づくことになる」と彼は言った。
しかし、ダームのビジョンは、より現実的で、かつ脅威を伴わない別の「ターミネーター・シナリオ」を示唆している。軍関係者、ロボット設計者、技術倫理学者との数十回のインタビューを通じて、私は、私たちが一つではなく二つの主要なプロジェクトに取り組んでいることを理解した。一つ目は、機械にさらなる知能と自律性を与えること、そして二つ目はそれらの機械の制御を維持することである。ダームは前者の成功を懸念していたが、後者の失敗についても少なくとも同じくらい懸念すべきである。もし私たちが、同等に賢い制御システムを持たない賢い機械を作れば、ある日、一見すると健全に見える何千もの善意の決定によって、機械がかつて人間の領域であった「主要な機能」のすべてを実際に乗っ取るというシナリオに直面することになる。そして「私たちは瞬き」し、世界はもはや私たちが理解することも制御することもできない世界になっていることに気づくのだ。
簡単に達成できる目標
今日、兵士や空軍兵は、少なくとも一部の状況においては、航空機が自分たちと同等、あるいはそれ以上の存在になりつつあることを実感しています。昨年の夏、オハイオ州デイトン近郊のライト・パターソン空軍基地にある空軍研究所を訪れた際、科学者たちは開発中のシステム「センス・アンド・アボイド」のビデオデモを見せてくれました。このシステムは2015年までに実用化される予定です。この技術を搭載した無人機は、搭載された一連のセンサーを用いて、他の航空機が近くにいることを検知し、迅速に回避操作を行うことができます。「センス・アンド・アボイド」は戦闘状況でも活用可能で、複数の航空機があらゆる角度から無人機に向かってくるというコンピューターシミュレーションでテストされています。しかし、その最も直接的なメリットは、無人機が米国の上空で安全に飛行できるという信頼性を証明することかもしれません。連邦航空局（FAA）は、戦場を自由に飛行する無人機が、本国の民間航空機に近づくことをまだ許可しておらず、米国の制限のない空域でさえ、飛行を許可するのはごく稀です。しかし、「感知」と「回避」のアルゴリズムは、すべての航空機に求められるFAA（連邦航空局）の予測可能な優先権ルールに従っています。オンタリオ湖上空でのシステムのテスト成功を映したビデオのある場面で、接近する航空機を操縦していたパイロットの発言が画面に映し出されました。「まさにパイロットがやるべき行動だ」
機械は既に、我々凡人に対して明らかな優位性を持っている。無人機（UAV）は、パイロットが通常意識を失う速度を超えて加速し、数週間とは言わないまでも、数日間は空中に留まることができる。一部の軍用ロボットは、高エネルギーレーザーを素早く照準して発射することができ、（制御された状況下では）人間よりもはるかに高い精度で標的を攻撃することができる。陸軍は現在、R2-D2に似たずんぐりとしたロボット「カウンターロケット・アーティラリー・モルタル（C-RAM）」を運用している。このロボットはレーダーを用いてグリーンゾーンやバグラム空軍基地上空から飛来する砲弾を検知し、驚異的な70%の確率で撃墜することができる。空軍の科学者たちはまた、「ステロイドを投与された自動操縦装置」についても言及した。これは気象衛星のデータを利用して航空機の進路を迅速に修正することで、燃料効率を最大化できる可能性がある。また、パイロットが方向感覚を失った際に航空機を自動的に地上から離れさせるコンピュータープログラムが、今年後半にF-16戦闘機に搭載される予定だ。
今のところ、機械の能力向上は人的労働の増加という形で対応している。空軍はシンガー氏に対し、プレデター無人機1機あたり平均68人の人員が携わっており、その大半は各飛行で生成される膨大な量のデータを分析していると述べた。国防総省は、9つのセンサーを搭載したゴーゴン・ステアから計画中の368個のセンサーを搭載したARGUSまで、ますます高度な画像システムを配備しており、データマイニング担当者の需要は今後も増加し続けるだろう。しかし、軍の維持において最大の財政コストは人件費であるため、国防総省は「スマート」センサーの活用を検討し始めている。これらのデバイスは、動きを検知するアルゴリズムを活用することで、重要なデータを自ら判断し、標的が現れた数分間のデータのみを送信し、19時間続く砂漠のデータを送信する必要はない。
ジョージア工科大学モバイルロボット研究所所長のロナルド・アーキン氏は、特定の限定された状況下において、武装ロボットは人間よりも倫理的に軍事作戦を遂行できる可能性があると仮説を立てている。アーキン氏の試作機「倫理ガバナー」を搭載した機械は、交戦規則に従わず、付随的損害を最小限に抑え、正当な「キルゾーン」内で行われないような致命的な行動を実行することはできない。さらに、機械は復讐心を求めたり、自己防衛への強い欲求を感じたりせず、恐怖やヒステリーに左右されることもない。私は9月にアーキン氏に話を聞いた。国防総省がアフガニスタン民間人を殺害し、遺体を損壊したとして5人の米兵を訴追したというニュースが報じられてからわずか数日後のことだった。「ロボットは既に人間よりも強く、速く、そして賢い」と彼は言った。「なぜロボットがより人道的にならないのか？人間が残虐行為を犯す戦争において、これは比較的容易に実行できる成果だ」
難しいこと
空軍研究所内の安全な区域で、私は自動空中給油システムのコンピューターシミュレーションを見学した。このシステムでは、無人航空機が飛行中の空軍タンカーに接近し、適切な給油位置に移動して、乱気流の中でも、給油にかかる約 30 分間、その位置を維持することができる。空軍は約 60 年にわたって有人航空機への空中給油を行っており、当初はこの繊細な手順を朝鮮戦争での戦闘機や、一度に数日間空中にとどまる核兵器搭載爆撃機に使用していた。空中給油により、任務範囲が広がり、より短い滑走路でより少ない燃料とより多くのペイロードで航空機が離陸できるようになるため、必要な航空機と基地の数を削減できる。このプロセスでは 2 機の航空機が互いに非常に接近して飛行する必要があるため、これらの相互作用の調整は常に各航空機の飛行士に委ねられてきた。
しかし、空軍が無人機への移行を進めるにあたり、その手順が人間の操作なしに確実に実行できるようにしようとしている。ノースロップ・グラマン社などと共同開発した自動空中給油システムは、リアジェット機を無人機の代わりとして運用する「ドライ」飛行試験を実施した。しかし、試験の大部分はコンピューターシミュレーションを用いて実施され、可能な限り多くのシナリオを実行し、潜在的な問題を特定し、それに応じて入力を調整してきた。人間からロボットへの制御の移行は段階的に行われてきた。「信頼を示せれば示すほど、無人機が安全であると皆を納得させることができます」と、研究所の制御科学部門の上級エンジニアの一人、ボブ・スミス氏は言う。「しかし、信頼とは単なる信頼性や安全性よりも大きなものです。時間をかけて築き上げなければなりません。信頼というのは扱いにくいものです。」
研究室には、飛行士が給油システムの訓練を行うシミュレーターもあった。私は、退役したボーイングKC-135空軍タンカーから取り出したブームオペレーター用のソファにうつ伏せになって滑り込み、操縦の腕試しをさせられた。私の頭は、タンカーの窓を模したドーム状のビデオスクリーンの中にほぼ収まっており、はるか下の仮想の地面には、なだらかな丘陵と雪を頂いた山々が広がっていた。アカエイのような無人航空機が、私の50フィート下あたりに滑空して現れた。突風と思われるもので、少し揺れていた。全地球測位システム（GPS）のおかげで、無人飛行機はタンカーの旋回パターンを正確に追跡し、同じ速度で飛行することができる。私の仕事は、右手に持ったコントローラーを操作して硬質の燃料チューブを無人飛行機の燃料タンクの真上に配置すること、そして左手に持ったコントローラーでチューブを伸縮させて無人飛行機に接触させることだった。ビデオゲームとしては、リスクは低かった。文明が生まれたり滅びたり、殺したり殺されたりすることもなかった。しかし、シミュレーターの中では、かなりリアルに感じられた。
ブームを所定の位置に下げ、下げたが、大きく外れた。引き込み、やり直し、大きく外した。何度か試みて失敗した後、うつ伏せになった私の尻を見つめていた科学者たちは、次のプレゼンテーションについて、忙しいエンジニアたちを待たせてはいけないと言い始めた。明らかに私はシステムの中で最も弱い部分だった。機械の方がずっとうまくできたはずだ。
失敗の瞬間
軍用機械にこれほど信頼を置くのは魅力的かもしれないが、必ずしも賢明ではない。1988年、ペルシャ湾を哨戒中の海軍巡洋艦がイランの旅客機を撃墜し、乗員・乗客290名全員が死亡したが、これは艦の自動レーダーシステムがその航空機をはるかに小型の戦闘機と誤認し、艦の乗組員が他の矛盾するデータよりもコンピューターを信じたためだ。ライト・パターソン研究所の科学者数名は、民間航空ですら死亡事故につながっている機械への過度の依存の典型的な例から学ぶべきだと述べた。多くの場合、こうした軍用機械の事故は、ロボット企業の副社長がP.W.シンガー氏に「しまった！」の瞬間と表現した、開発の初期段階で技術に起こりがちな珍しくないミスの結果である。 2007年、SWORDSと呼ばれる戦車のような武装ロボットの最初の一群がイラクに配備され、その後すぐに戦闘から撤退したとき、そのうちの1台が友軍に銃を向けたという話が広まった。
ロボットの製造元は、後に故障がいくつかあったことを認めたが、人員が危険にさらされたことはなかったと強調した。イラクでC-RAMが米軍ヘリコプターを標的とし、ロケット弾の飛来と誤認した。なぜ自力で射撃を止めたのかは不明である。2006年に任務から戻った兵士はシンガーに、イラクで彼が操作した地上ロボットが時々「道路から外れて戻ってきて、くるりと回転する、など」したと語った。シンガーによると、同じ年、幹部向けのデモンストレーション中にSWORDSが不可解に回転し始めた。ロボットの機関銃に弾が装填されていなかったため、映画「ロボコップ」のような光景は避けられた。しかし、2007年に南アフリカ軍の混雑した訓練演習では、自動対空砲が詰まったようで、その後乱暴に回転し、自動装填の弾丸500発を全て発射した。兵士9人が死亡、14人が重傷を負った。
より独立性の高い知能ロボットを設計する方が、それらが常に安全に動作することを証明するよりも簡単であることが判明しました。「テクノロジーホライズン」レポートは、「V&V（検証と妥当性確認）手段の開発の負担とは対照的に、自律システムの開発は比較的容易である」ことを強調し、「自律システムへの証明可能な信頼を確立するための方法の開発は、自律システムの使用を増やすことで達成できる能力上の利点を得るために克服しなければならない唯一最大の技術的障壁である」と断言しています。地上テストと飛行テストは、機械が正しく動作することを示す1つの方法ですが、費用がかかり、チェックできる変数が非常に限られていました。ソフトウェアシミュレーションは膨大な数のシナリオを安価に実行できますが、混沌とした現実世界でのミッションにおいて、文字通りに考える機械がどのように反応するかを確実に知る方法はありません。空軍研究所制御科学部門の技術顧問、ダニエル・トンプソン氏は、機械の自律性が自動操縦から適応飛行制御、そして高度な学習システムへと進化するにつれて、機械が本来の動作をしていることを証明することがはるかに困難になると語った。「この指数関数的な成長に対応できるツールをまだ開発する必要があります」と彼は言う。「ここで議論しているのは、非常に複雑なことです。」
この技術的問題は政治的な波紋も呼ぶ。優れたロボット知能とパワーによる戦術的優位性を得たいと考える他国は、危険なほど制御不能になる可能性のある未検証の自律型システムを配備する用意があるかもしれない。中国やイランを含む43カ国が現在、独自の軍用ロボットを保有または開発中だ。また、国際無人機システム協会（AUVS）は6,000人の会員を誇っている。空軍の科学者たちは、自らの検証と妥当性確認の取り組みを強化するだけで、手抜きをする国々より優位に立てると述べている。しかし、そうした取り組みは、他の場所で信頼性の低いロボットが蔓延するのを防ぐにはほとんど役立たず、ロボット軍拡競争に勝ちたい一部の国々が、さらに手抜きをするよう刺激するだけかもしれない。「何でもかんでもぶっ壊すような愚かな自律型ロボットを作るのは簡単です」と、サンルイスオビスポにあるカリフォルニア工科州立大学の倫理・新興科学グループ責任者、パトリック・リン氏は言う。野心的な好戦的な国家が、間違ったものを殺し、より大きな紛争を引き起こす愚かなロボットを製造していることは想像に難くない。
イェール大学の技術倫理研究グループの議長、ウェンデル・ウォラック氏は、機械は実際には備えていない識別力、回復力、適応力を備えているとしばしば謳われているが、これは往々にして請負業者が自社製品を熱心に宣伝するからだと指摘する。「自律システムの真の危険性は、本来は本来あるべきではない状況で使われてしまうことだ」と彼は言う。
こうしたシステムの前身である遠隔操作機械は、軍が人間には「退屈で、汚くて、危険」と呼ぶ多くの作業を遂行する。これらは広く使用されており、その影響も無視できない。CIAのドローン操縦員は、戦闘員と非戦闘員を適切に区別できず、これまでにパキスタンの民間人1,000人もを殺害した。そして、真に自律的なシステムは、ますます機密性の高い任務を担うようになっている。「ターミネーターのリスクを無視できるかどうかは分かりません」とリン氏は述べ、例として殺人ドローンではなく、現在でも多くのビジネスオペレーションを制御されているコンピューターを挙げた。例えば昨年の春、あるトレーディング会社の「売りアルゴリズム」が、株式市場で突然1,000ポイントの「フラッシュクラッシュ」を引き起こしました。「ビジネスシステムから軍事システムに至るまで、私たちの生活の多くが、人間よりも速く情報処理するコンピューターによって運営され、株式市場を暴落させたり、場合によっては戦争を引き起こしたりするようになると考えるのは、それほど突飛なことではありません。長期的に見れば、ターミネーターのシナリオも全く突飛なものではありません。」
ループから外れて
戦争（そして株式取引）のペースと複雑さが加速するにつれ、機械に制御を委ねざるを得なくなるでしょう。兵士は技術的にはC-RAMの発射を無効化できますが、その決定を下し、わずか0.5秒以内に行動を実行する必要があります。機械が確認済みの標的に関する情報を遠隔地にいる人間のオペレーターに中継し、発射確認を待つ間にも、決定的な数秒が失われます。自律システムが超人的なスピードで超人的なタスクを実行するようになると、人間自身も十分な速さで意思決定を行うことがますます難しくなります。人間は機械の監督者、そして「僚機」になりつつあります。もはやループ内の決定者ではなく、軍の言葉を借りれば「ループに乗った」観察者なのです。
空軍研究所の職員たちは、自律性は「オール・オア・ナッシング」の命題として考えるべきではないとすぐに指摘した。理想的には、常にスケールアップしたりスケールダウンしたりできる「柔軟な自律性の度合い」があり、状況によっては人間が監督役を担い、状況によっては機械が独立して動作するといった具合だ。「私たちの焦点は、自動化を人間の意思決定を支援するために使うことであり、人間に代わって意思決定をすることではない」と、研究所の司令官であるエレン・パウリコウスキー少将は私に語った。「人間が情報から外れることで誤った判断が下される可能性がある段階に達したら、その時こそ自動化を停止しなければならない」
しかし、このレベルの人間の関与を維持するには、人間と機械の間で並外れたレベルの調整とコミュニケーションが必要です。アイザック・アシモフは、よく引用される「ロボット工学三原則」でまさにこの問題に取り組みました。これは架空の概念ですが、ロボット制御に関する議論のデフォルトの出発点となっています。ロボットは人間に危害を加えてはならない、あるいは不作為によって人間に危害を加えさせてはならず、ロボットは人間からの命令に従わなければならない。ただし、その命令が第一原則に抵触する場合は除く。そして、ロボットは、その行動が前の二原則に抵触しない限り、自らを守らなければならない。
オハイオ州立大学で人間とロボットの協調を専門とし、自動化システムの開発で軍事研究者と緊密に協力しているデイビッド・ウッズ教授は、単純なルールベースのアプローチでは、ロボットが戦場で直面するであろう無数の物理的・倫理的課題を予測するには決して不十分だと述べています。判断が複雑になりすぎた場合、制御を人間または別のループ上の別のロボットに迅速に戻すシステムが必要です。「ロボットは責任ある人々のためのリソースです。人間の手が届く範囲を拡張します」とウッズ教授は言います。「何かが壊れ、混乱が連鎖的に発生すると、人間は複数のループを調整し、相互作用する必要があります。」ウッズ教授によると、ロボット工学の法則は「制御の円滑な移行」という一つの原則に集約できるといいます。特定の状況では制御を放棄することもあるかもしれませんが、常に制御を取り戻せるシステムを維持する必要があります。手放せば手放すほど、制御を取り戻すことは困難になります。
ライト・パターソン研究所では、Vigilant Spirit Control Station と呼ばれる独自のインターフェースを使い、1 人の人間が 4 機の無人航空機を同時に操縦するシミュレーションを見学しました。2 台の大型モニターには、4 機の飛行機がそれぞれ異なる色で表示され、重要な飛行データ、ミッションに関する戦術情報、センサーのフットプリント、ターゲットの位置がすべて、画面の端にそれぞれ対応する色で表示されました。研究所の監視制御インターフェース技術顧問であるマーク・ドレイパー氏は、飛行機が地上の固定ターゲットを監視するだけで、センサーの映像が必要な他の人に中継されていれば、1 人のオペレーターが 12 機の無人航空機を操作できると説明しました。真のテストは、人間と機械が何らかの混乱や異常を検知し、迅速に制御を再割り当てすることで対応できるかどうかです。「12 機の無人航空機のうちの 1 機が突然、重要ターゲットを発見し、そのターゲットがトラックに乗って走り去ったらどうなるでしょうか？」とドレイパー氏は提案しました。 「これは非常に動的な出来事で、この1人で12機の飛行機を管理しながら彼を追跡するのは不可能です。ですから、ドカン、ドカンと、その作業は即座に別の遠隔地の専門部隊に引き継がれます。そして作業が完了すると、飛行機は最初のリソースマネージャーに引き継がれ、空を駆け巡る11機の飛行機を追跡し続けます。」
空軍はまた、薬物や様々な装置を用いて人間がより機械に近づき、機械とよりスムーズに相互作用できるようにする方法を研究している。無人機（UAV）の管理者の仕事は、しばしば8時間にも及ぶ退屈な作業と、それが数分間の大混乱に中断されるという、わけのわからない状況を伴う。飛行試験では、UAVの操縦士は「トンネル化」する傾向があり、1機のUAVに集中し、他のUAVを見ない。NATOの調査では、1機のUAVの監視から2機のUAVに切り替えた際に、パフォーマンスが半減したことが示された。鎮静剤として作用したり、注意力や鋭敏さを高めたりする医薬品に関する軍事研究はよく知られている。しかし、研究所のヒューマン・エフェクティブネス局で、私は電極指が取り付けられた一種の冠の試作品を目にした。この電極指は頭皮に装着され、脳から発生する電気信号を受信する。複数のUAVを管理する操縦士は、将来版のこの種の装置を装着し、心拍数と眼球運動を継続的にモニタリングされる予定だ。これらのデバイスは、人が疲労、怒り、興奮、あるいは圧倒されているかどうかを判断します。無人航空機（UAV）操縦者の注意力が低下した場合、視覚的に合図を送ったり、前頭葉に磁気刺激を与えたりすることができます。そして、人がパニックやストレスの兆候を示した場合、人間（または機械）の監督者は、その人から責任を転嫁するだけで済みます。
人間と情報を共有し続けることの難しさは、空軍研究所の研究者たちさえも驚かせている。ヴィジラント・スピリットのプレゼンテーションの最後に、会場にいた12人ほどのエンジニアの一人、ボブ・スミス氏はこう述べた。「難しいのは、機体に何かを自力でやらせることだと考えていました。難しいのは、人間が介入しながら、それをうまくやらせることです。」
戦略
9月、40人の科学者、政府関係者、人権弁護士、軍人がベルリンに集まり、国際委員会の初会議が開かれた。
ロボット兵器管理協会（Robot Arms Control）の会員。ノエル・シャーキーは2009年にこの団体を共同設立し、軍用ロボットが既に戦争の性質を変え、合法的な標的と合法的な戦闘員、合法的な攻撃と暗殺、スパイ活動、そして攻撃的な軍事行動に関する既存の交戦規則の多くを覆してきたことについて、議論を活発化させることを願っている。デビッド・ウッズ氏は、近い将来、対ドローン戦闘について耳にすることになるだろうと述べた。対ドローン戦闘では、ドローンが監視、追跡、フェイント、妨害、情報窃取を行う。これらは、直接的な空中戦とはならないあらゆる手段である。
シャーキー氏をはじめとする多くの人々は、人間が戦闘のリスクを負うことが減ることで、武力紛争の障壁が低くなるのではないかと懸念している。なぜなら、（少なくともロボットを使う側から見れば）戦闘のコストが低くなるからだ。米国は現在、パキスタンで、民間の情報機関が実施している、詳細不明の軍事行動に関与している。パキスタンは2004年以降、パキスタン北西部で196回の無人空爆を実施しており、オバマ政権下ではこうした攻撃の頻度が劇的に増加している。「ドローンがなければ、私たちはそこにいなかったでしょう」とパトリック・リン氏は言う。「これらのロボットのおかげで、私たちは本来ならできないようなことをできるのです。」
会議参加者の大多数は、無人システムの規制と、将来的な自律型武装ロボット兵器の開発・配備の禁止を求める声明に署名した。しかしシャーキー氏によると、参加者は基本的な用語の定義さえも議論し、この経験を通して、国家主体を議論に巻き込むことがいかに困難であるかを改めて実感したという。この技術を開発する政府は、軍事目的を推進するために開発するが、すぐにその目的は技術に都合の良い形にされ、ロボット自体が不可欠なものとなる。委員会の新しさとその規模（正式な委員はわずか10名）は、この問題に関するこのような対話がいかに稀であるかを物語っている。
ウェンデル・ウォラック氏は、「自律型ロボットの将来について、世間では大きな混乱が起きています。『人間レベルのAIまであと20年だ』という意見から、100年かかる、あるいは永遠に到達できないかもしれないという意見まで、実に様々です」と強調する。空軍研究所でこの分野の最先端の研究を見学したにもかかわらず、私は今後何が起こるのか明確なイメージを持てずに去った。同研究所の制御理論部門長であるシヴァ・バンダ氏は、空軍は有人航空機の製造に必要な規格や仕様をよく理解していると述べた。「しかし、無人機に関しては、私たちの知識は幼児のようなもの。赤ん坊です」。実際、軍用機の問題で主導権を握っているのは誰か、という疑問が浮かぶ。P・W・シンガー氏が最近、ペンタゴン当局者に自身の著書『Wired for War』について説明した際、国防総省の上級戦略専門家は、講演に大変興味を持ったと述べ、「これらすべての戦略を誰が策定し、取り組んでいるのか」という疑問を抱いた。これまで何度も同様の講演を行っているシンガー氏は、当局者にこう説明した。「誰もがあなただと思っているんです。」
