案内役とは別に専用のエージェントを作り、connpass から PA45（PowerAutomate45）の次回開催情報を取得して、その内容をメールで送るところまで動かしました。
置き場所・設定・安全装置と、実際に動いた様子をまとめます。
これまで、会話で答える・資料を読ませる・道具で作業させる・フローで手を動かす・ファイルを作らせる、と順に試してきました。
今回は Computer use ＝ AIが画面を見て、アプリやWebサイトを操作する新機能を触りました。
この記事では、①Computer useとは何か ②置き場所 ③設定と安全装置 ④実際に動かす ⑤取得した内容をメールで送る、の順にまとめます。
① Computer use ＝ AIが画面を見て操作する
ふつうの自動化は、アプリが用意したコネクタ（API）を通してつなぎます。
つなぎ口が無いアプリやサイトは、これまで自動化が難しい対象でした。
Computer use は、その画面そのものを見て、人のようにクリックや入力をする仕組みです。
画面を見て判断するため、ボタンの位置や画面が多少変わっても、その場で対応しようとします。
今回は「connpass で PA45（PowerAutomate45）の次回イベントを調べる」という、実在のサイトを相手にした作業で試しました。
できることは派手ですが、そのぶん動かす場所や安全装置を先に押さえておくのが大事でした。
② 置き場所 ― 標準ハーネス側にある
最初に押さえておきたいのが置き場所です。
案内役を作っている新しいエクスペリエンス（新しいUI）の道具追加を探しても、Computer use は出てきません。
調べると、Computer use は「標準ハーネス」側の機能でした。
ホーム画面の「New experience」を切ると標準ハーネスの画面になり、そこに「コンピューターを使用するエージェント」という選択肢が現れます。
今回はこれで専用のエージェントを1つ作りました。
※ 新しいUIと標準ハーネスは別物
どちらで作るかで、選べる機能が変わります。
Computer use を使いたいときは、標準ハーネス側で作る必要がありました。
前提として、生成オーケストレーションがオンになっている必要もあります。
私は最初どこにあるか探したので、置き場所だけ先に。
③ 設定と安全装置
設定画面は、名前・説明・モデル・手順（何をさせるか）を書くところから始まります。
実行に使うモデルは Claude 系や OpenAI 系から選べました。
手順は自然言語で書きます。
手順は具体的に、段階で書くほど迷いが減ります。
今回は次のように書きました。
2. 上部の検索ボックスに「PowerAutomate45」と入力し、Enterで検索する。
3. 検索結果の一覧から、いちばん上（次回）のイベントを選ぶ。
4. イベントの「タイトルのテキスト」をクリックする。
5. 開いた詳細ページから「開催日時」「イベント名」「ページのURL」を読み取る。
6. その3つをテキストで返す。
次に決めるのが、どのマシンで動かすかです。
選択肢は3つありました。
- ホスト型ブラウザー：公開Webサイト向け。
内部リソースには入れない - クラウドPCプール：社内システムやアプリを扱うとき向け
- 独自のマシン：自前のマシンをフルに使う
今回は connpass という公開サイトが相手なので、ホスト型ブラウザーを選びました。
そして、この機能でいちばん大事だと感じたのが安全装置です。
許可リストで触ってよいサイト／アプリを限定し、HTTPSの強制で安全な接続だけに絞り、人の承認で危ない操作の手前に人を挟む。
「何でも操作できてしまう」から、この安全装置を先に押さえておくのが要点だと感じました。
④ 実際に動かす
設定を保存して、直接テストを実行しました。
少し待つと、操作用の Windows が起動し、ブラウザが自動で動き始めます。
検索結果から次回イベントを1件見つけ、詳細を読み取っていきます。
途中でサムネイル画像を誤ってクリックした場面もありましたが、AIは「画像を開いてしまった。
戻って、イベントのタイトルを押す」と自分で気づいて操作をやり直しました。
最終的に、次回イベントの情報を正しく取得して完了しました。
実行の再生動画とスクリーンショット、思考ログが残ります。
しかも途中の誤クリックを自分で立て直しました。
コネクタが用意されていないサイトでも、画面操作で情報を取りに行ける。
ここが Computer use の要点です。
うまくいかないこともあるので、止められる設定を入れてから試すのが安心です。
⑤ 取得した内容を、そのままメールで送る
取ってこられたら、次はその内容を人に届けたいところです。
同じエージェントにメール送信の道具を足して、「調べて、送る」まで一気に任せてみました。
- エージェントに「メールの送信(V2)」ツールを追加する（宛先・件名・本文はAIが状況から埋める設定）
- エージェントの指示に「Computer useで取得し、その内容をメールで送る」と連携の順番を書く
- テストで「次回のPA45はいつ？メールで知らせて」と話しかける
道具を足しただけでは連携しません。指示に「取得してから送る」と書いておくのが要点です。
話しかけると、Computer use が connpass を調べ、続けてメールの下書きを組み立て、送信の手前で接続の許可を求めるカードが出ました。
ここで許可すると、実際にメールが送られます。
※ 送信のような操作は、手前で許可を挟む
外に影響する操作（メール送信など）は、実行の前に確認が入りました。
勝手に送られるのではなく、人が一度うなずいてから動く形です。
届いたメールがこちらです。
件名・イベント名・開催日時・URLが、読みやすく整理された状態で届きました。
本文はAIが組み立てました。
コネクタの無いサイトから拾った情報を、そのまま実務の連絡に乗せられる、という手応えです。
ここまで来ると使いどころが見えてくると思います。
まとめ ― 使いどころ
触ってみて分かったことを整理します。
- コネクタが無いサイトも操作できる：画面を見て情報を取得し、誤操作も自己修正した
- 取得→メールまで連携できる：指示に「取得してから送る」と書けば1体でつながる
- 安全装置が要：許可リスト・人の承認・HTTPSを先に固める。
送信は手前で承認が入る - 手順は具体的に：段階で、押す対象まで書くと迷いが減る
- コスト：1ステップごとにクレジットを消費する重い処理。
乱発はしない
コネクタが無いアプリを自動化できるのは大きく、調べた内容をそのままメールにつなげられたのは実用的でした。
一方で、実行は時間がかかり、クレジットも使います。
いまの手ごたえとしては、決まった調べもの＋連絡を、承認を挟みながら任せる使い方が現実的だと感じています。
※ 本記事は公開日時点の情報をもとに、筆者が実際に試した内容を整理しました。
Computer use はプレビュー段階の要素を含み、提供状況・画面・料金は地域や時期で変わります。
最新の状況は公式情報（Microsoft Learn）もあわせてご確認ください。
※ 掲載している画面は、操作中に撮りました。
個人情報にあたる箇所はぼかしています。
構成や図解の一部は、AI と壁打ちしながら作成しています。
＼ 最新情報をチェック ／
コメント