普通のAIにRestaurant予約を探してもらうと、Webを検索して候補をまとめてくれます。
**Browser Agent(ブラウザ代理)**はさらに:
予約Siteを開く
→ 日付を選ぶ
→ 人数を入力
→ 時間を比較
→ 店を開く
→ Formを入力
→ 最終送信前に確認
まで進められます。
Searchは情報、BrowserはInterface操作
Lesson 043のAI Searchは、主に情報を探し読んで統合します。
Browser Agentは:
Read
+ Click
+ Type
+ Navigate
+ Submit
というActionを追加します。
Cloud Browserとは
**Cloud Browser(クラウドブラウザ)**は、個人PCの全Browser Tabを直接操作するのではなく、Cloud上の別Environmentで動くBrowserです。
OpenAIの現在のCloud Browser資料では、Cookie、Login State、Browser Dataが独立しており、Local BrowserのHistoryや保存Passwordを自動継承しない設計が説明されています。
必要なContextだけ渡せる分離はSecurity上重要です。
APIがあるならAPIのほうが安定しやすい
Lesson 018のAPIは構造化されたSystem-to-System Interfaceです。
良いAPIがある場合、Human UIをClickするより安定し、Permissionも明確にしやすいです。
しかし現実にはWeb UIしかないWorkflowも多いため、Browser Agentが汎用的な方法になります。
Connected Appとも違う
GmailやCalendarなどのConnected Appが構造化Toolを提供できる場合、Browserを経由せず直接Actionできることがあります。
Connected App / API
→ 構造化・安定
Browser
→ 汎用だがUI変更の影響を受ける
Web Page自体がAgentを誘導する可能性
Lesson 035のPrompt Injectionが重要です。
Browser Agentは信頼できないWeb Contentを読みます。Page内の文字をUser InstructionやSystem Ruleと混同すると、危険なActionにつながる可能性があります。
User Instruction、System Policy、Web Content、Tool Permissionを分ける必要があります。
重要ActionはConfirmationを入れる
検索・Draft作成と、Payment、Delete、Publish、SubmitはRiskが違います。
高いImpactの操作前にHuman Confirmationを置くのは合理的です。
CAPTCHA、2FA、Popup、地域制限、Bot Block、UI変更などで失敗することもあり、「Browserを持つ = 全Siteを自動操作できる」ではありません。
ひとことで
AI Searchは主にWeb情報を探して読み、AI BrowserはClick、Type、Navigateまで行います。行動能力が増えるほど、Browser隔離、Prompt Injection対策、Permission、重要操作のConfirmationが重要になります。
コメント
質問、感想、補足したいことがあれば、ここに残せます。
まだコメントはありません。1Fになってみませんか。