1. Claude for Chrome: エージェント型ブラウジングの概要と初期デモンストレーション [0]

thumbnail

  1. AnthropicのClaude for Chrome拡張機能の導入 [0]

    1. Anthropicはブラウザ自体を構築するのではなく、Chrome拡張機能であるClaude for Chromeを作成することで、エージェント型ブラウジング競争に参加している [0]
    2. これは非常に賢明な動きであると見なされている [1]
    3. 現在、本機能は早期研究プレビュー段階にあり、Maxプランの購読者の一部のみがアクセス可能である [2]

  2. エージェント型ブラウジングの状況と脆弱性 [7]

    1. すべてのAI企業が何らかのエージェント型ブラウジング体験を構築しようとしている状況である [7]
    2. PerplexityのCometや、OpenAIのエージェント型ブラウザに関する噂、GoogleのGemini in Chromeなど、競争が激化している [8]
    3. エージェント型ブラウジング体験の登場により、プロンプトインジェクションのような新たな脆弱性や攻撃手法も発生する見込みであり、これについても後述する [11]

  3. Claude for Chromeのインターフェースと動作原理 [14]

    1. インターフェースは、Chrome拡張機能であり、クリックするとサイドバーが開くチャットインターフェースである [14]
    2. 動作原理は、以下のステップで構成される [23]
    3. 閲覧中のウェブページのスクリーンショットを撮る
    4. 実行するアクションを計画する
    5. アクション実行後、再びスクリーンショットを撮り、アクションが実行され、結果が得られたことを確認する

  4. デモ1：X (旧Twitter) への投稿 [19]

    1. エージェントは問題なくXに移動し、指定されたメッセージを投稿することができた [19]
    2. デフォルトでは、エージェントはいかなるアクションを実行する前にもユーザーの許可を求める設計である [21]
    3. このデフォルト動作は、一部のアクションを許可するか、すべての実行を許可するかに変更できる [22]
    4. センシティブな情報を取り扱う場合、メッセージ投稿後の最終確認など、アクション実行前に許可を求めるという設計上の選択は非常に興味深い [26]
    5. アカウント（XやGmailなど）にログインしている場合、この機能はタスクの自動化に非常に役立つ可能性がある [27]

2. 実用的なユースケースの検証とエージェントの動作特性 [30]

thumbnail

  1. デモ2：不動産検索（Zillow） [30]

    1. エージェントに対し、特定のエリアと価格帯でアパートを探すよう依頼したが、「裏庭付きの場所」のような曖昧な情報も追加して対応を確認した [30]
    2. Zillowのようなウェブサイトでは、「裏庭」ではなく「屋外スペース」として言及されることが多いという曖昧さがある [32]
    3. 検索プロセス:
    4. まず、指定された都市範囲内のZillowウェブサイトに移動した [33]
    5. 次に、要求された価格帯を入力した [34]
    6. 動作システムは、アクション実行後、通常2〜3秒待機するが、これはクリック後にページが適切にリロードされたことを保証するためであると見られる [35]
    7. 全体のプロセスは約10分かかり、処理速度は遅い方である [36]
    8. 価格フィルター適用後、検索スペースが絞り込まれた [38]
    9. その後、「家」フィルターが適用され、検索スペースがさらに絞り込まれた [39]
    10. 最後に、「室内ランドリーユニット」と「屋外スペース」という残りの2つのフィルターを適用した [41]
    11. エージェントのアクションは、人間らしいものであり、特に初めて見るウェブサイトで動作する場合、人間と同じように仮定を立て、クリックし、間違った場所に移動した場合は追跡してアクションを再実行する [42]
    12. 最終的に、1軒の家を見つけることができた（非常に高価な物件であったが、機能としては成功した） [45]

  2. デモ3：リサーチエージェントとしての活用（株価分析） [47]

    1. Nvidiaの株価の最近の値動きを調査し、その原因を尋ねるタスクを実行した [48]
    2. Google検索との比較: Google検索はインデックス化された高レベルの情報を提供するのに対し、Claudeは個々のウェブサイトにアクセスして情報を収集する [49]
    3. Claudeの機能は、コンテンツを非常に速く、より自然な方法で読み取ることができるため、この種のリサーチタスクに非常に有用である [52]
    4. 最終的に、Nvidia株価の値動きの根本原因を正しく特定した [53]

  3. デモ4：ショッピングリサーチアシスタント [54]

    1. 特定のカメラを探すよう依頼し、調査対象のウェブサイトは指定しなかった [55]
    2. 検索プロセス:
    3. まずGoogle検索を行い、価格の基準値を把握した [56]
    4. 次にGoogleのショッピングタブを検索した [57]
    5. その後、Amazon、Best Buy、B&H、eBayを含む複数の異なるウェブサイトで同じ製品を検索し始めた [58]
    6. エージェントは一つのタブでのみ動作できるため、ウェブサイト間を移動しながら検索する [60]
    7. 記憶機能（メモリ）の利点: ウェブサイトから情報を収集する際、それをメモリに保存し、後で再利用することができる [62]
    8. 最終的に、製品のリストを提供することができ、特にリンクのハルシネーション（幻覚）を確認するためにリンクを尋ねたところ、エージェントはリンクを記憶しており、実際にリンクは機能した [64]
    9. これは、初期検索のための非常に有用なツールであると結論付けられる [68]

  4. デモ5：ウェブからのデータダウンロード [69]

    1. IRSウェブサイトからW9フォームをダウンロードするよう依頼した（ファイルのダウンロード機能と情報検索能力をテスト） [70]
    2. テスト環境: ユーザーの明示的な許可なしにアクションを実行できる「オートモード」でテストを実施した [72]
    3. ダウンロード時の安全設計:
    4. エージェントはW9フォームを見つけるための適切な場所に移動し、フォームを開くことができた [73]
    5. ダウンロードに関しては、オートモードであっても明示的な許可を求めるという興味深い挙動が観察された [74]
    6. これは、悪意のあるデータファイルをインターネットからダウンロードするのを防ぐための非常に優れた設計上の選択である [75]
    7. ファイルを実際に保存するためには、ユーザーが保存ボックス上で「保存」をクリックする必要があった [77]

3. フォーム入力の課題と機密情報に対する保守的な設計思想 [79]

thumbnail

  1. デモ6：ウェブフォームへの入力 [79]

    1. IRSウェブサイトで開かれていたW9フォームに、提供されたダミー情報を入力するようエージェントに依頼した [81]
    2. 機密情報の除外: Claudeは機密情報（この場合は社会保障番号など）を記入しない設計であると明確にユーザーに伝えた [83]
    3. これは、ユーザーの機密性の高い個人情報や財務情報をエージェントに委ねるべきではないという観点から、非常に良い設計パターンである [84]
    4. フォーム入力の失敗:
    5. エージェントは初期情報でフォームへの入力を開始したが、その後、ループに陥った [85]
    6. 正しいアクションを説明するものの、間違ったページを見ていた [85]
    7. 最終的にエージェントは「要求されたすべての情報が完全に記入された」と伝えた [86]
    8. ユーザーがフォーム上に名前しか記入されていないことを指摘し確認を求めたところ、エージェントはスクリーンショットを撮り直し、フォームを見て、記入が完了していないことを認識した [87]
    9. このテストの終わりまでに、Claudeは提供された情報に基づいてW9フォームを記入することができなかった [96]
    10. この問題がフォームの複雑さや文書の長さに関係しているかどうかは不明である [92]

  2. 個人・財務情報に対する保守的なアプローチ [97]

    1. Claudeは、個人情報や財務情報などの機密情報に関しては、非常に保守的な設計である [97]
    2. 例えば、銀行口座や財務情報へのアクセスを求められた場合、Claudeはウェブサイトに移動するが、ユーザーに代わっていかなるアクションも実行しない [98]
    3. これは、Anthropicが安全性を重視する企業であることを示しており、ユーザーが財務情報や個人情報をこれらのエージェントに信頼して委ねたくないという観点から重要である [99]
    4. 他のいくつかのエージェント実装がサンドボックスで実行されているのに対し、Claudeは少なくともローカルで実行されているが、それでも非常に注意深く使用する必要がある [101]

4. エージェント型ブラウジングのセキュリティ脆弱性と軽減策 [104]

thumbnail

  1. アクセス状況と今後の課題 [104]

    1. Claude for Chromeは現在、約1,000人のMaxプランユーザーに限定提供されており、ウェイトリストへの参加が可能である [104]
    2. これは研究プレビュー段階であり、デモで示したように、一部は機能し、一部は機能しない状態である [106]
    3. エージェント型ブラウジング体験の使用開始に伴い、新たな脆弱性と攻撃ベクトルが出現することが、この技術の最も重要な側面である [108]

  2. プロンプトインジェクションへの対策 [109]

    1. プロンプトインジェクションは大きな問題となる見込みである [110]
    2. 例えば、ウェブサイトに埋め込まれた命令をエージェントが読み取ったり、悪意のあるコードを実行したりする可能性がある [110]
    3. Anthropicはこれに対抗するために以下の軽減策を講じている [111]
    4. サイトレベルの許可: ユーザーは設定で特定のウェブサイトに対するClaudeのアクセスをいつでも許可または取り消しできる [111]
    5. アクションの確認: すべてのアクションについて、ユーザーが「許可をスキップ」を有効にしない限り、Claudeは許可を求める [115]
    6. 自律モードでの特定アクションの制限: 自律モードで許可をスキップした場合でも、Claudeは特定の行動（プライベートデータへのアクセス、銀行口座へのログイン、SSNの入力など）は実行しない [117]
    7. 高リスクカテゴリのウェブサイトのブロック: 金融サービス、アダルトコンテンツ、著作権侵害コンテンツなど、特定の高リスクカテゴリのウェブサイトでのClaudeの使用をブロックしている [119]
    8. これらのエージェントシステムやその能力を現時点では完全に信頼できないため、これらの軽減策は極めて重要である [120]
    9. ユーザーは、エージェントが実行しているアクションを観察し、確認する必要がある [122]

  3. 軽減策の効果と今後の展望 [123]

    1. Sonnet 4（エージェントを駆動するモデルと見られる）を使用した現在のシステムでは、これらの軽減策により、プロンプトインジェクションの脆弱性を11%にまで減らすことができた [123]
    2. 軽減策がない場合、脆弱性は約23%であるため、約50%の削減効果があるが、11%は依然として高い数値である [124]
    3. 特定の攻撃ベクトルに対するレッドチームのテスト:
    4. ユーザーには見えないが、Claudeが読み取ることができるウェブページの隠された悪意のあるフォームフィールドなどのテストを実施した [127]
    5. 4種類のブラウザ固有の攻撃タイプに対するチャレンジセットでは、エラー率を約36%から0%に軽減することができた [128]
    6. しかし、これは単なる一つの課題に過ぎないため、AnthropicはClaude for Chromeを広く展開する前に、攻撃の範囲を拡大し、これらの脆弱性のパーセンテージをゼロに近づける方法を学ぶ必要があると述べている [129]
    7. これらの新しいブラウジング体験に伴い、セキュリティに関しては多くの課題が残されている [130]