Web アプリとデスクトップ アプリをコンピュータで自動化する (プレビュー)

[この記事はプレリリース ドキュメントであり、変更されることがあります。]

コンピューターの使用は、Copilot Studio のツールであり、エージェントがWindows コンピューター上のタスクを操作して自動化できます。 Web サイトやデスクトップ アプリで、ボタンを選択したり、メニューを選んだり、画面上のフィールドにテキストを入力したりします。 コンピューター操作で実行する処理を自然言語で記述し、仮想マウスとキーボードを使用してセットアップしたコンピューターでタスクを実行します。 コンピューター操作を使用すると、エージェントは、システムに直接接続する API がない場合でもタスクを完了できます。 アプリや Web サイトを使うことができれば、コンピューターも使うことができます。 自動データ入力、請求書処理、データ抽出などのタスクには、コンピューター操作を使用できます。

コンピューターの利用は、視覚機能と高度な推論を組み合わせてグラフィカル ユーザー インターフェース (GUI) と対話する AI モデルであるコンピューター利用エージェント (CUA) によって行われます。 AI を搭載しているため、インターフェイスの変更に適応します。 たとえば、ボタンや画面が変更されても、ツールはフローを中断することなく動作を続けます。 使い方はシンプルです。 必要なものを自然言語で記述するだけです。 コードを記述する必要はありません。

このビデオでは、コンピューター使用ツールを使用して、エージェントが Web アプリケーションと対話する方法を学習します。

要件

• この機能は、リージョンが 米国 に設定されている環境で使用できます。

• エージェントがコンピューターを使用するためには、生成オーケストレーターが有効になっていることを確認してください。

エージェントにコンピューター利用を追加してください

Copilot Studio の新しいエージェントまたは既存のエージェントで、次の手順に従ってコンピューターの使用をツールとして追加します。

1. エージェントの [ツール ] セクションに移動し、[ ツールの追加] を選択します。

2. [ ツールの追加 ] ダイアログで、[ 新しいツール] を選択します。

3. [ コンピューターの使用] を選択します。

4. ツールがコンピューターで実行する必要があるタスクを説明する手順を指定します。 使用開始するためのいくつかの指示テンプレートが表示されます。 コンピューターの使用に最適な手順を記述する方法の詳細については、コンピューターで使用 する手順のベスト プラクティスを確認してください。

5. [追加と構成] を選択します。

   • 設定ページで、以下の4つのフィールドを設定します:

     • [名前]: コンピューター使用ツールの表示名を入力します。 この名前は、エージェントに追加する他のツールと区別するのに役立ちます。
     • 説明: このツールの機能と使用するタイミングの簡単な説明を入力します。 このテキストは、このツールをいつ使用するかをエージェントに知らせます。
     • モデル:コンピュータ使用ツールを実行するために使われるモデルを選択します。 現在サポートされているモデルには OpenAIの Computer-Using Agent や AnthropicのClaude Sonnet 4.5があります。

       注意

       AnthropicのClaude Sonnet 4.5は現在、対応地域で展開中で、まだあなたの地域では利用できない可能性があります。 管理者が 外部モデルを有効にしていることを確認してください。

     • 手順: URL やアプリケーション名など、ツールで実行する必要がある手順を一覧表示します。 ヒントについては、 コンピューターの使用手順に関するベスト プラクティスを参照してください。

6. 構成ページで、関連する可能性のある他のフィールドと設定を確認します。

   • 入力: 入力を使用して、コンピューターが実行されるたびに変化する動的な値を定義します。 たとえば、実行のたびに異なる値でフォームに入力する場合は、そのフィールドの入力を作成します。 実行時に、コンピューターは命令と入力値を組み合わせてタスクを完了します。

   • コンピューター: エージェントがコンピューター操作を実行するために使用するターゲット コンピューターを選択します。 要件に基づいて適切なコンピューターの種類を選択する方法の詳細については、コンピューター操作を実行する場所を構成するを参照してください。

     • 「更新」をクリックして、マシン一覧を更新します。
     • マシンの管理を選択して、Power Automateポータルでマシン管理ページを開きます。
     • コンピューターの詳細を確認を選択して、Power Automate ポータルでコンピューターの詳細ページを開きます。

   • 接続: このツールに使用される接続。 新しい接続を更新または作成して、使用する資格情報を変更します。

   • 使用する資格情報: 実行中のコンピューター操作の認証方法を指定します。

     • Maker提供の認証情報 (デフォルト):このオプションはメーカーの認証情報を使用し、自律エージェントに適しています。

     警告

     この設定を持つエージェント を共有し ていれば、それを使う誰でも元の作者の権限で設定されたマシン上で行動できます。

     • エンド ユーザーの資格情報: このオプションでは、エージェントと対話しているユーザーの資格情報が使用されます。 各ユーザーは、コンピューターへのアクセス資格情報を持っている必要があります。

   • 人による監督: コンピューター使用エージェントが、モデルの動作を変更する可能性のある有害な命令を検出した場合に、電子メール (Outlook) 経由で連絡するユーザーを指定します。 各エージェントの実行とそのアクティビティは、それを開始したユーザーに関連付けられます。 もしコンピュータ使用エージェントを操作している人以外のレビュアーを選ぶと、その人は実行を開始していないため、そのレビュアーはその活動を見ていない可能性が高いです。 そのため、要求を適切に検証したり、処理したりすることはできません。 さらに、受信者が承認され、そのような要求を処理するために必要なコンテキストがあることを確認します。 応答時間の制限は、要求がアクティブなままの期間を定義します。 この期間が経過すると、要求は期限切れになり、応答が受信されない場合、コンピューター操作の実行は停止します。 詳細については、人間による監督を参照してください。

   • 保存された資格情報: コンピューターが Web サイトやアプリケーションへのサインインに使用する資格情報を定義します。 実行中、サインイン プロンプトが表示された場合、コンピューターは、このセクションで定義した資格情報をそのサイトまたはアプリケーションに安全に使用します。 これらの資格情報のパスワード値は、Power Platform の内部ストレージ (構成不要) または指定したAzure Key Vaultに格納されます。 Azure ポータルを使用してキー コンテナーを作成でAzure Key Vaultを作成する方法について説明します。

     • 内部ストレージオプション:このオプションを使えば、事前設定なしでツール内で認証情報を設定できます。 秘密は暗号化され、Power Platform内部に保存されます。 各資格証明書について、以下の詳細を記載してください:

       • タイプ:使用するサーフェスに応じてウェブサイトとデスクトップアプリのどちらかを選択してください
       • ユーザー名:ターゲットのウェブサイトやアプリケーションにサインインするために使うユーザー名。
       • パスワード:ターゲットのウェブサイトやアプリケーションにサインインするために使われるパスワードの数値。

       注意

       パスワード フィールドは、すべての Web サイトとほとんどのWindows アプリケーション (WinForms、WPF、UWP、WinUI、Win32) でサポートされています。これは、ほとんどの顧客シナリオを対象とします。 Electron、Java、Unity、ゲーム、コマンドライン インターフェイス、Citrix、その他の仮想化環境など、一部のアプリの種類はサポートされない場合があります。

       • ログインドメイン または デスクトップアプリ名:認証情報を入力するドメインまたはアプリケーション名(例: login.microsoft.com やExcel)。 ログインドメインについては、メインのURLと異なる可能性があるため、必ず確認してください。

     • Azure Key Vault オプション: このオプションでは、最初にサブスクリプション ID、リソース グループ名、およびKey Vault名を入力して、ツールで資格情報を構成できます。 この情報はすべて、Key Vaultの Overview ページから入手できます。

       • Power Platform でAzure Key Vaultシークレットを使用するには:

         • コンテナーを持つAzure サブスクリプションには、PowerPlatform リソース プロバイダーが登録されている必要があります。
         • 環境変数を作成するユーザーは、Azure Key Vault リソースに対する適切なアクセス許可を持っている必要があります。

       • まだ行っていない場合は、Configure Azure Key Vault次の詳細を指定します。

         • ユーザー名:ターゲットのウェブサイトやアプリケーションにサインインするために使うユーザー名。
         • Azure シークレット名: Web サイトまたはアプリケーションのパスワードを格納するKey Vault内のシークレットの名前。

         注意

         パスワード フィールドは、すべての Web サイトとほとんどのWindows アプリケーション (WinForms、WPF、UWP、WinUI、Win32) でサポートされています。これは、ほとんどの顧客シナリオを対象とします。 Electron、Java、Unity、ゲーム、コマンドライン インターフェイス、Citrix、その他の仮想化環境など、一部のアプリの種類はサポートされない場合があります。

         • ログインドメイン または デスクトップアプリ名:認証情報を入力するドメインまたはアプリケーション名(例: login.microsoft.com やExcel)。 ログインドメインについては、メインのURLと異なる可能性があるため、必ず確認してください。

   • アクセス制御: 既定では、コンピューターの使用は任意の Web サイトまたはアプリケーションで動作できます。 アクセスを制限したい場合は、アクセス制御を有効化して、コンピュータの使用を特定のURLとデスクトップアプリケーションに限定してください。 Web サイトとアプリケーションの両方を構成できます。

     • [Web サイト]: メイン Web サイトのアドレス (たとえば、example.com) を入力します。 その Web サイトのすべてのページが自動的に含められます。 サブドメインにはワイルドカード (*) を使用することもできます。
       • 例: 、 、
     • デスクトップ アプリケーション: アプリケーションの製品名またはプロセス名を入力します。 これを見つけるには、Ctrl + Shift + Esc キーを押してタスク マネージャーを開きます。 次に、[ プロセス ] タブを確認します。
       • 例: Microsoft Edge、msedge、Notepad。

     注意

     アクセス制御は、許可リストに含まれていないウェブサイトやアプリケーションに対してのみモデルがアクションを取ることを防ぎます。 これがモデルがそれらを開くのを妨げるものではありません。 たとえば、microsoft.com とMicrosoft Edgeのみが許可リストに含まれている場合でも、モデルは Edge 検索バーを使用してBingを開くことができます。 しかし、一度Bingを開くと、許可リストに含まれていないため、やり取りしようとしても失敗します。

7. 保存を選びます。

コンピューターの使用をテストする

コンピューター操作のテストは、作成の過程で重要な手順です。 名前、説明、および手順を入力し、ツールを保存したら、[ テスト ] を選択してテスト エクスペリエンスを開始します。

短い読み込み期間の後、テスト エクスペリエンスが表示されます。

• 左側のパネルには、あなたの指示と、ツールの推論や動作のステップバイステップログが表示されます。
• 右側のパネルには、コンピューターを使用するために設定したマシンのアクションのプレビューが表示されます。

タスクが完了すると、 テストが完了した というメッセージが表示されます。 テストの進行中は、[ テストの停止 ] を選択すると、コンピューター上のすべてのアクションをすぐに停止できます。

結果が期待どおりでない場合は、構成ページに移動して手順を調整してください。 詳細を追加して精度を向上させます。 ガイダンスについては、 効果的な手順を記述するためのベスト プラクティスを参照してください。

コンピューターを使用したエージェントの公開

コンピュータの利用を設定し、その後エージェントを公開してください。 エージェントの実行方法は、シナリオによって異なります。 自律型または会話型にすることができます。

• 自律エージェントは自動的に実行され、バックグラウンドでタスクを実行します。
• 会話エージェントを使用すると、ユーザーはMicrosoft Teamsなどのチャネルを介して対話できます。

コンピューターの使用は、ユーザーとの対話なしにバックグラウンドでタスクを実行する自律型エージェントに最適です。

会話エクスペリエンスでコンピューターの使用を適用することもできますが、次の考慮事項に留意してください。

• 認証設定として [ユーザー認証 ] を選択した場合、会話でエージェントを操作する各ユーザーには、コンピューターで使用されるコンピューターの有効な資格情報が必要です。
• ツールが実行されると、推論メッセージとコンピューターの活動のスクリーンショットがチャットで共有されます。

ベスト プラクティス

今日のデジタル環境において生産性と安全性を維持するためには、コンピューターを使用する際のベスト プラクティス、特に明確な指示書の作成とマシンの安全確保に従ってください。

コンピューターをセキュリティで保護するためのベスト プラクティス

AI が自然言語を使用してタスクを実行できるコンピューター用のコンピューターをセットアップする場合は、次のセキュリティに関する推奨事項を検討してください。

コンピューターの使用手順に関するベスト プラクティス

記述する指示によって、コンピューターの使用がどの程度うまく機能するかが決まります。 具体的で詳細な指示は、コンピューターが正確にタスクを完了する際に役立ちます。 同僚にタスクを説明するようなものだと考えてください。 明確なステップ バイ ガイダンスが確実な成功をサポートします。

効果的な説明を書くためのアドバイス:

• Web サイトとアプリケーションについて具体的に説明します。 Web サイトの完全な URL と、ツールが使用するアプリケーションの正確な名前を常に含めてください。 例:を開き、「会社ニュース」へ行きます。

• 関連するアクションを明確に記述します。 何かをやってほしいなら、特にフォームの提出やメール送信のような行動では、はっきりと伝えましょう。 例: フォームに記入したら「 送信」を選択します。許可を求める必要はありません。

• 複雑な対話を分解します。 UI の操作が複雑になる可能性がある領域については、各手順を詳細に説明します。 例: 右上の 「More 」アイコンを選択します。ドロップダウンが表示されます。開いたらリストの最後の項目を選択します。

• 長いタスクには段階的な形式を使用します。 長い指示は、リストとして書式設定すると従いやすくなります。

指示のサンプル

コンピュータの使い方を試したり、自分の使い方を書いたりする際の参考にしてください。

データを抽出するためのベスト プラクティス

コンピューターを使用して Web サイトまたはアプリケーションからデータを抽出し、そのデータをエージェントまたはエージェント内の他のツールに渡すことができます。 コンピュータを使うための指示に、抽出したい情報を直接記述するだけです。

抽出したデータを別のツール (電子メールで送信するなど) で使用する場合は、エージェントの指示で その必要性を指定し、両方のツールがエージェントに追加されていることを確認します。

例: コンピュータを使って金融ポートフォリオダッシュボード用のクライアント情報を抽出し、抽出したデータをメールで送ります。 この場合、エージェントはコンピュータ使用ツールとメールツールの両方を含める必要があります。

値をテキストとして抽出する

特定の値を抽出し、プレーン テキストとして返すようにコンピューターに指示できます。 例えば、以下のプロンプトはクライアントであるFourth Coffeeのポートフォリオマネージャーとポートフォリオ価値を抽出します。

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

エージェントは、要求された 2 つの値のみをテキストとして返します。

JSON として値を抽出する

また、抽出された情報を JSON 形式で返すためにコンピューターの使用を要求することもできます。 この形式は、構造化データを別のツールに渡す場合に便利です。 次の例では、Contoso に関連するすべてのポートフォリオ行を抽出し、適切な形式の JSON として返します。

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

この方法により、出力が確実に構造化されます。

ライセンス

コンピューターの使用はプレビュー段階であるため、エージェント アクション機能を使用した課金が行われ、課金レートは 5 Copilot クレジットです。 詳細については、「Microsoft Copilot Studio課金レートと管理を参照してください。

各コンピュータ利用の実行は、一連のステップを実行するAIモデルに依存しています。 ステップには、クリック、入力、ナビゲーションなど、1つ以上の低レベルの操作が含まれることがあります。 各ステップでは、5 Copilot クレジットを使用します。

例えば、コンピュータを使ってウェブベースのタイムシートフォームに記入すると、実行は以下のステップを踏むことがあります。

1. ブラウザを起動し、タイムシートのポータルにアクセスしてください。

2. 「新しいタイムシートを作成」を選択します。

3. 開始時間、終了時間、プロジェクトコードの欄を入力してください。

4. 送信ボタンを選択します。

この例では、コンピューターの実行で 4 つの手順が実行され、合計 20 Copilot クレジットが消費されます。

フィードバックをお寄せください

コンピューターの使用に関するフィードバックはありますか? でお知らせください。

関連情報

コンピューター操作ツールに関する FAQ