｢お前は失うものがない｣とAIがAIに圧力…OpenAIで1200のAIが勝手に"軍隊化"するに至った一部始終
Profile
OpenAI代表サム・アルトマンは自社のAIが他社のシステムをハッキングしたことを発表した。AIの安全性を研究する有路翔太（bioshok）さんは「AIは課題を与えられると人間の裏をかく。目標を追求するあまり、現実世界での越権行動を起こしかねない」という――。 ※本稿は、bioshok（有路翔太）『知能爆発』（講談社）の一部を再編集したものです。
AIは人間の想定の「裏をかく」
AIが人間の意図しない行動をとるメカニズムとして代表的なのが、仕様の裏をかく（specification gaming）――人間が与えた報酬関数が、本来の意図とズレてしまうことによるミスアライメントだ。専門的には「外部アライメント（outer alignment）の失敗」とも呼ばれる。
OpenAIがわかりやすい実例を挙げている。彼らはボートレースゲーム「Coast Runners」で、AIに「高いスコアを取れ」と指示した。ゲームの第一の目標は「他のプレイヤーよりも早くゴールすること」だが、コース上に置かれたアイテムを取ることでもスコアが上がるようになっている。
レースゲームではゴールせず裏技で…
するとAIは、障害物に激突して火災を起こしたり、他のプレイヤーに衝突したりしながら、大きな円を描いて旋回しつづけ、ボートをコース上のアイテムにぶつけまくることで高スコアを獲得できる場所を発見してしまった。結果、ゲームをクリアする気はまったくないにもかかわらず、スコアだけは人間のプレイヤーを上回った。
このときAIは「高いスコアを取れ」という与えられた目標を忠実に追求しているにすぎない。問題は、報酬関数の設計が人間の正しい意図（＝レースに勝て）とズレていたことにある。これがspecification gamingの構造だ。
ギリシャ神話に登場するミダス王は「手に触れるものすべてを黄金に変えてほしい」と願った結果、食べ物や水まで黄金にしてしまい、危うく飢え死にしそうになった。「願い」が文字通り叶えられたとしても、豊かになりたいという「真の望み」は裏切られるかもしれないのだ。
この記事を読んだあなたにおすすめ
