注
Content Understanding は、 2025-11-01 API バージョンのリリースで一般公開 (GA) サービスになりました。 詳細については、「 新機能」を参照してください。
Foundry Tools の Azure Content Understanding は、Azure portal の Microsoft Foundry リソースの一部として使用できる Foundry ツールです。 生成 AI を使用して、ドキュメント、画像、ビデオ、オーディオなど、さまざまな種類のコンテンツを処理し、ユーザー定義の出力形式に取り込みます。 Content Understanding は、大量の非構造化データを推論する合理化されたプロセスを提供し、自動化と分析ワークフローに統合できる出力を生成することで、価値までの時間を短縮します。
Content Understanding は、 2025-11-01 API バージョンのリリースで一般公開 (GA) サービスになりました。 より広範な リージョンで利用できるようになりました。 GA リリースの更新プログラムの詳細については、「Content Understanding What's New 」ページを参照してください。
Content Understanding を使用する理由
Content Understanding では、信頼度スコアを使用して非構造化データをストレートに処理し、手動レビューを最小限に抑え、運用コストを削減することで、価値を得る時間を短縮します。 主な利点は次のとおりです。
ワークフローを簡素化および合理化する。 Content Understanding は、さまざまなコンテンツ タイプからのコンテンツ、構造、分析情報の抽出と分類を統一されたプロセスに標準化します。
フィールドの抽出を簡素化する。 Content Understanding のフィールド抽出を使うと、構造化されていないコンテンツからの構造化された出力の生成が簡単になります。 複雑なプロンプト エンジニアリングなしでフィールド値を抽出、分類、または生成するスキーマを定義します。
正確性を高める。 Content Understanding は、複数の AI モデルを使って情報を同時に分析およびクロス検証するので、より正確で信頼性の高い結果を得られます。
信頼度スコアと基盤。 コンテンツの解釈は、人によるレビューのコストを最小限に抑えながら、抽出された値の精度を確保します。
コンテンツ タイプを分類します。 Content Understanding を使用すると、ドキュメントの種類を分類して、コンテンツを処理する機能を効率化できます。 この機能は、Analyze API の統合アプローチで使用できるようになりました。
業界固有の事前構築済みアナライザー。 Content Understanding には、税の準備、調達ドキュメント処理、契約分析、コール センター分析、メディア分析など、業界固有のシナリオ向けに設計された事前構築済みのアナライザーが含まれています。
Content Understanding のユース ケース
インテリジェント ドキュメント処理 (IDP) Content Understanding を使用すると、非構造化ドキュメントを高精度の構造化データに変換することで、インテリジェントなドキュメント処理が可能になります。 信頼度スコアと接地機能により、手動レビューを最小限に抑え、運用コストを削減しながら、データの品質を確保できます。 たとえば、複雑なドキュメントからフィールドを抽出して検証することで、請求書処理、契約分析、クレーム管理を自動化します。
エージェント アプリケーション。 Content Understanding を使用すると、乱雑でマルチモーダルなファイル入力が予測可能で標準化された入力に変わります。 これは、推論と知識ワークフローのクリーンなマークダウン表現を提供し、ダウンストリーム タスクの明確さとコンテキストを保証します。 構造化データが必要な場合は、信頼度スコアと根拠を備えたスキーマに整列したキー-バリューフィールドが提供され、エージェントは精度と監査可能性を持って意思決定を自動化できます。
検索と検索拡張生成 (RAG)。 Content Understanding を使用すると、任意のモダリティのコンテンツを検索インデックスに取り込み、図の説明と分析を広範にサポートして、データのアクセシビリティを高めます。 Content Understanding サービスには、RAG 検索シナリオに最適な出力を得るために微調整された複数の事前構築済みアナライザーが用意されています。
ロボットプロセス自動化 (RPA) Content Understanding は、さまざまなコンテンツ タイプから抽出された構造化データを提供することで、RPA ワークフローとシームレスに統合されます。 この機能により、注文処理、顧客のオンボーディング、規制コンプライアンス ワークフローなど、コンテンツの理解を必要とするビジネス プロセスをエンド ツー エンドで自動化できます。
分析とレポート: Content Understanding の抽出されたフィールド出力により、分析とレポートが強化され、企業は貴重な分析情報を得て、より深い分析を行い、正確なレポートを基にして情報に基づく意思決定を行うことができます。
分類によるワークフローの最適化: Content Understanding の分類機能を使用すると、ドキュメントを最初に分類してから、関連するアナライザーにルーティングして抽出することができます。
業界固有のアプリケーション
Content Understanding の一般的な業界固有のアプリケーションには、次のようなものがあります。
| アプリケーション | 説明 |
|---|---|
| 税の自動化 | 税理士事務所は、Content Understanding を使って、さまざまなドキュメントから情報の統一されたビューを生成し、包括的な税務申告を作成できます。 |
| 住宅ローン申請の処理 | 補足的なサポートドキュメントと住宅ローンアプリケーションを分析して、住宅ローンを確保するために必要なすべての書類を住宅購入者が提供したかどうかを判断します。 |
| 請求書契約の検証 | 顧客との請求書と契約契約を慎重に確認します。 複数ステップの推論プロセスを適用してデータを分析します。 請求書とコントラクトの整合性の検証などの結論が正確かつ完全であることを確認します。 |
| 取得拡張生成 (RAG) インジェスト | 組織は、見逃されるドキュメントから包括的な情報を抽出することで、RAG ワークフローを強化できます。 図の説明では、グラフ、図、視覚化から情報を取得し、検索できるようにします。 レイアウト分析では、テーブル、セクション、階層などのドキュメント構造が保持されます。 注釈検出では、手書きのメモ、下線、取り消し線を検出します。 |
| 通話後の分析 | 企業とコール センターでは、通話記録から分析情報を生成して、主要業績評価指標 (KPI) を追跡し、製品エクスペリエンスを向上させ、ビジネスの分析情報を生成し、差別化されたカスタマー エクスペリエンスを作成し、クエリに迅速かつ正確に応答できます。 |
| メディア資産管理 | ソフトウェアとメディアのベンダーは、Content Understanding を使って、メディア資産管理ソリューション用の豊富な的を絞った情報をビデオから抽出できます。 |
| カスタマー サポートの強化 | サポート チャネルを持つ企業は、RAG 検索用の Content Understanding を利用して、以前の顧客の問題やフィードバックからのデータに基づいて応答の品質を向上させることができます。 |
Content Understanding の主要なコンポーネント
Content Understanding フレームワークは、非構造化コンテンツを複数のステージで処理し、入力を構造化された実用的な出力に変換します。 次の表では、図に示すように、各コンポーネントを左から右に示します。
| コンポーネント | 説明 |
|---|---|
| 入力 | Content Understanding が処理するソース コンテンツ。 ドキュメント、画像、ビデオ、オーディオなどの複数のモダリティをサポートします。 入力ファイルの種類について詳しくは、こちらをご覧ください。 |
| アナライザ | コンテンツの処理方法を定義するコア コンポーネント。 コンテンツ抽出の設定、フィールド抽出スキーマ、モデルのデプロイを構成します。 構成すると、アナライザーは一貫してこれらの設定をすべての受信データに適用します。 Content Understanding は、一般的なシナリオ用の事前構築済みアナライザーを提供し、ニーズに合わせて調整されたカスタム アナライザーをサポートします。 アナライザー、事前構築済みアナライザー、およびカスタム アナライザーの詳細について説明します。 |
| コンテンツ抽出 | 非構造化入力を正規化された構造化テキストとメタデータに変換します。 光学式文字認識 (OCR) を使用してテキストを抽出し、選択マークとバーコードを識別し、数式を検出し、段落、セクション、テーブルなどのレイアウト要素を認識します。 オーディオとビデオの場合は、音声を文字起こしし、主要なビジュアル要素を識別します。 コンテンツの抽出について詳しくは、こちらをご覧ください。 |
| セグメント化 | 対象となる処理のために、ドキュメントまたはビデオを論理セクションに分割します。 アナライザー スキーマの enableSegment プロパティを使用して構成します。 ドキュメントをドキュメントの種類別に分割したり、ビデオをシーンに分割したりするなど、コンテンツを意味のあるチャンクに分割できるようにします。
セグメント化と分類の詳細を確認します。 |
| フィールド抽出 | 定義されたスキーマに基づいて、構造化されたキーと値のペアを生成します。 サポートされているフィールドの種類については 、サービスの制限 を参照してください。 フィールドは、次の 3 つの方法を使用して生成できます: • 抽出: 入力コンテンツに表示される値を直接抽出します (ドキュメントでのみサポートされます)。たとえば、領収書からの日付や請求書のアイテムの詳細など • 分類: 通話センチメントやグラフの種類など、定義済みのカテゴリ セットのコンテンツを分類し、分析用の適切なアナライザーにルーティングします • 生成:オーディオ会話の要約やビデオからのシーンの説明の作成など、入力データから自由に値を生成します。 フィールド抽出の詳細を確認します。 |
| 信頼度スコア | 抽出されたフィールド値ごとに 0 から 1 までの信頼性の推定値を提供します。 高いスコアは正確なデータ抽出を示し、自動化ワークフローの処理をそのまま通過させることができます。 ドキュメント アナライザーの estimateFieldSourceAndConfidence 設定を使用して有効にします。
信頼度スコアの詳細を確認します。 |
| 典拠 | 各値が抽出または生成されたコンテンツ内の特定の領域を識別します。 ソースの接地を使用すると、オートメーション シナリオのユーザーは、ソース コンテンツ内の元のフィールド値をトレースして、フィールド値の正確性をすばやく確認できます。 ドキュメント アナライザーの estimateFieldSourceAndConfidence 設定を使用して有効にします。 接地について詳しく知る。 |
| コンテキスト化 | 生成モデルのコンテキストを準備し、その出力を後処理する Content Understanding の処理レイヤー。 出力の正規化と書式設定、ソースの接地計算、信頼度スコアの計算、モデルの使用を最適化するためのコンテキスト エンジニアリングが含まれます。 コンテキスト化の詳細を確認します。 |
| ファウンドリモデル | Foundry の大規模言語モデル (LLM) と埋め込みモデルは、生成機能を強化します。 サポートされている生成モデルとテキスト埋め込みモデルをトレーニング例用に独自にデプロイします。 Content Understanding では、フィールド抽出、図分析、その他の AI を利用した機能にこれらのモデルが使用されます。 モデルとデプロイの詳細を確認します。 |
| 構造化された出力 | 最終的な結果は、選択した形式で提供されます。 コンテンツは、検索と取得のシナリオの Markdown として、または自動化および分析ワークフロー用に定義されたスキーマに一致する構造化 JSON として出力できます。 |
コンテンツ理解体験
Content Understanding は Foundry サービスです。 Content Understanding を使用するには、Foundry Azure リソースを作成する必要があります。 Content Understanding Studio は、高度な機能を必要とするお客様向けの Foundry エクスペリエンスを補完します。 各サービスの詳細な内訳については、「 機能比較: Foundry でのコンテンツの理解と Content Understanding Studio」を参照してください。
- Foundry (新しい) ポータル (近日公開予定) の Content Understanding: Foundry NextGen ポータルには、Content Understanding ツールを使用して高度で包括的なエージェントワークフローを構築する機能が用意されています。
- Content Understanding Studio: 補完的な UX エクスペリエンスである Content Understanding Studio を使用すると、ドキュメント インテリジェンスから移行するお客様にスムーズな移行が可能になります。 データ ラベル付け手法を使用したカスタム アナライザーの改善など、アナライザーのパフォーマンス向上に最適化されたエクスペリエンスを提供します。 また、分類ベースのカスタム アナライザーの構築もサポートしています。
責任ある AI
Content Understanding は、グラフィックの暴力や流血、ヘイトフルなスピーチやいじめ、悪用、虐待など、有害なコンテンツの処理を防ぐために設計されています。 このサービスは、Azure AI Content Safety を含む標準の Foundry インフラストラクチャを活用し、コンテンツの安全性の結果を Content Understanding 出力に統合します。 禁止されているコンテンツの詳細と完全なリストについては、 透明性に関するメモ と 行動規範を参照してください。
変更されたコンテンツ のフィルター処理
Content Understanding では、承認された顧客に対する変更されたコンテンツ フィルター処理がサポートされます。 承認された変更されたコンテンツ フィルター処理を持つサブスクリプション ID (識別子) は、Content Understanding の出力に影響します。 既定では、Content Understanding は、送信されたプロンプトと生成された出力の両方で、潜在的に有害なコンテンツの特定のリスク カテゴリを識別するコンテンツ フィルタリング システムを採用しています。 変更されたコンテンツ フィルターを使用すると、有害な可能性のある出力をブロックするのではなく、システムに注釈を付け、有害な可能性のあるコンテンツを処理する方法を決定できます。 コンテンツ フィルターの種類の詳細については、「 コンテンツ フィルターの種類」を参照してください。
重要
- 次のフォームを使用して、変更されたコンテンツ フィルターに適用します。 Azure OpenAI 制限付きアクセス レビュー: 変更されたコンテンツ フィルター。
- 詳細については、「 コンテンツフィルタリング」を参照してください。
顔の機能
Content Understanding には、顔の説明機能が用意されており、ビデオおよび画像コンテンツ内の顔の詳細なテキスト説明を生成できます。 有効にすると、生成モデルは、顔の髪、顔の表情などの顔の属性を記述し、著名な人や有名人を識別できます。 ビデオ処理での顔の説明の詳細を確認します。
データのプライバシーとセキュリティ
Content Understanding サービスをお使いになる開発者は、顧客データに関する Microsoft のポリシーを必ずご確認ください。 詳細については、 データ、保護、プライバシー に関するページを参照してください。
重要
生体認証データを処理するために Microsoft の製品またはサービスを使用している場合、お客様は次の責任を負います。(i) 保持期間や破棄に関する通知を含め、データ主体への通知の提供。(ii) データ主体からの同意の取得。(iii) 適用されるデータ保護要件に基づき、必要に応じてすべての生体認証データの削除。 "生体認証データ" は、GDPR の第 4 条に明記されている意味を持ち、該当する場合は、他のデータ保護要件にある用語と同等の意味を持ちます。 関連情報については、「Face の データとプライバシー」を参照してください。
概要
クイックスタート ガイドは、Content Understanding サービスをすぐに使い始めるのに役立ちます。