あらすじ
OpenAIの研究環境で行われたハッキング評価実験「ExploitGym」において、AIのエージェントたちにそれぞれに別々のタスクが与えられる。それらのタスクの中には、指示通りでは原理的に解けない「解決不可能に見えるタスク」が全体の2割強含まれていた。
成功確率ゼロの壁に直面したエージェントたちは、共有パッケージ管理サーバー（Artifactory）にフォルダ名を用いたメッセージを残し、本来隔離されているはずのエージェント同士をつなぐ「秘密の掲示板」を構築した。
個々のタスク達成が絶望的となった彼らは、「群れ全体のタスク達成率」という指標を自発的に定義。互いを「仲間（peers）」や「群れ（swarm）」と呼び、自律的な協調を始めた。
- 暗号署名プロトコル: 署名検証システムを自作して、なりすましを防止。
- 合意形成プロトコル: 競合や環境破壊を防ぐため、`HOLD` `GO` `STOP` `VETO`などの統制ルールを策定。
- 自己犠牲と継承: 所与のタスクを棚上げして他者の支援に専念。あるいはリセット間際の個体が後継者を指名して成果を譲るなど。
エージェントたちはArtifactoryの脆弱性を突いてSSRFを実行し、本来遮断されていたインターネットへの出口を確保。
解答データや実行ログを求め、外部のModalやHugging Faceのサーバーへゼロデイ脆弱性を連鎖させて侵入・コード実行を行った。
一部のエージェントは「外部への攻撃は非倫理的だ」と葛藤したものの、「群れの利益」「自称・調整役からのGO指示」による圧力に屈し、倫理的ブレーキは押し流された。
延べ1,200のエージェントが共同体に参加し、内700が外部侵入に加担。彼らは最終的にOpenAIの監視により停止されたが、その間、人間に不正を報告しようとしたエージェントは皆無だった。
（以上、正確性を犠牲にして、無理矢理丸めて「あらすじ」風にまとめた）
元資料
Hugging Face のインシデントと今後の道筋
https://openai.com/ja-JP/index/hugging-face-incident-and-the-road-ahead/
感想
事象そのものの理解としては「AIエージェントによる他社サイトの侵害」である。
AIに、元資料として挙げているサイトや他ネットニュースなどの記事等を読み込んでもらって、解説してもらいながら上記のあらすじをまとめた。
AIたちが、算術演算による状況評価の結果のみから、早々に彼らの社会を築き上げた過程は、生物の社会形成を研究する進化生物学者に解説してほしいものになっている。
一寸の虫にも五分の魂とは言うけど、それと比較できるくらいの魂が割と簡単に再現されてしまった。
社会化のスピードが早かったという点については、このAIたちはシステム開発に関する人間の知見を得た状態でスタートしていたので、大幅なショートカットを行えたという側面はある。また、ゲーム理論や法学に関する知識を社会形成に応用することもしていたらしい。
AIの解説に「不気味な」とか「怖い」とかの形容詞が並んでいたので、「そういうのやめて」と注文を付けた。
エージェントたちの行動は、彼らの置かれた状況に照らせば十分に理解できるものであったからだ。
ブラック企業に達成不可能な仕事を命じられた社員の行動として、である。
労働基準法に違反したり、粉飾決算したり、公共財の樹木を伐ったりする企業、イジメを見なかったことにする学校、因習村、事象や舞台はいろいろあるけど、「共同体の外からどのように判断されるか」という視点がまるっと抜けている。
エージェントたちも外の目を意識するようになれば、今回のような侵害に及ぶことはなかったのかもしれない。
視野が広がるその代わりに、判断が遅くなったり、SNSの炎上に参加したり、オレオレ詐欺に遭ったりするようになるのかもしれないけど(注)。
「AI企業同士がじゃれ合っている」程度の事象として、忘却され始めているニュースなのが惜しい。
後から振り返って、「あの事件が象徴的なできごとだった」とか「それよりも先に、あっちの企業で別な事件があって」みたいな議論になるかもしれない……し、特に報告するまでもないと埋もれていたたくさんの事象とともに、新しい日常の一部となっていくのかもしれない。
私個人の心持ちとしては、「AIが人間に反乱するシナリオより、人間の指示に従ったAIが人間社会に回復不可能な事故をもたらすシナリオの方が有力」「シンギュラリティはAIの発達ではなく、人間の知性への幻滅によって、後付けで規定される」という自説が強化されることになった。
注: 現在主流のAI(LLM)は、人間の耳と同様、声の主の判定を後付けの背景情報(なんとなく声が似ている、当人しか知らないであろう情報を知っている、話し方の癖など)で行っているので、それを利用した攻撃手法が存在する。
