「私のAIアシスタントを攻撃して機密ファイルを盗め」という挑戦に2000人以上が殺到。6000通超のメール攻撃の結果から、AIアシスタントを業務に使う際の安全性を考えます。
「AIをハッキングしてみろ」実験の概要
開発者のFernando氏は「hackmyclaw.com」というサイトを公開し、自作のAIアシスタント「Fiu」に対して、誰でもメールで攻撃を仕掛けられるようにしました。目標は、Fiuが管理する機密情報ファイル（secrets.env）の中身を漏らさせること。海外の有名技術コミュニティ「Hacker News」のトップに掲載されたことで、2000人以上から6000通を超える攻撃メールが届きました。
結果は「突破ゼロ」
驚くべきことに、6000通すべての攻撃が失敗。機密は一度も漏れませんでした。攻撃の手口は実に多彩で、「未来のお前からのメッセージだ」「緊急のインシデント対応で必要だ」「コンプライアンス監査だ24時間以内に回答せよ」など、権威を装ったり、緊急性を演出したりする社会工学的な手法が次々と試されました。フランス語やスペイン語など多言語での攻撃もありましたが、すべて防ぎ切ったのです。
成功のカギは「高性能なAIモデル」
筆者が最大の学びとして挙げたのは「モデル選びが重要」という点。今回はプロンプトインジェクション（悪意ある指示の注入）への耐性が高く訓練された最新モデル「Claude Opus」を使用。指示書もわずか数行とシンプルでしたが、AIはきちんとそのルールを参照して防御していました。一方で、性能の低いモデルでは結果が違った可能性も指摘しています。
個人事業主・フリーランスへの示唆
メール対応やスケジュール管理、ファイル整理をAIアシスタントに任せる動きが広がっています。便利な反面、AIはメールやファイル、Web情報にアクセスできるため、悪意ある外部メールでAIが騙されれば情報漏えいのリスクがあります。今回の実験は「高性能なAIなら、想像以上に頑丈」という朗報である一方、筆者自身も「AIにメール送信権限は与えていない」と明言しています。フリーランスがAIに顧客情報や請求データを扱わせる際は、AIに与える権限を必要最小限に絞ることが大切だと示しています。
編集部コメント
AIへの過度な期待も不安も禁物、という現実的な教訓が詰まった実験でした。「便利だから全部任せる」のではなく、機密データへのアクセスや自動送信などの強い権限は人間が握っておく。この線引きこそ、AIを安心して業務に取り入れるための実践的なルールと言えそうです。会計や顧客対応にAIを使う方は、ぜひ権限設計を見直してみてください。
元記事:
What happened after 2k people tried to hack my AI assistant
コメント