Azure AI Content Safety とは?

Azure AI Content Safety は、アプリケーションおよびサービス内の有害なユーザー生成コンテンツや AI 生成コンテンツを検出する AI サービスです。 Azure AI Content Safety には、有害な素材を検出できるテキスト API と画像 API が含まれています。 対話型の Content Safety Studio を使用すると、さまざまなモダリティで有害なコンテンツを検出するサンプル コードを表示、探索、試用できます。

コンテンツ フィルタリング ソフトウェアは、アプリで法的規制に準拠したり、ユーザーが意図する環境を維持したりするのに役立ちます。

[前提条件]

Azure AI Content Safety を使用するには、次のものが必要です。

• Azure サブスクリプション - 無料アカウントを作成します
• サポートされているリージョンに作成された Content Safety リソース

このドキュメントには、次の種類の記事が含まれています。

• 概念は、 サービスの機能と特徴を詳細に説明します。
• クイックスタート は、サービスにリクエストを送信する方法を案内する入門手順です。
• 攻略ガイドには、より具体的またはカスタマイズした方法でサービスを使用するための手順が記載されています。

コンテンツ モデレーション機能

Content Safety には、さまざまなモデレーション ニーズに対応するいくつかの API が用意されています。

AI の安全性と迅速な保護

コンテンツ分析

カスタム検出

使用場所

ソフトウェア開発者またはチームがコンテンツ モデレーション サービスを使用するシナリオをいくつか次に示します。

• 生成 AI サービスに送信されたユーザー プロンプト。
• 生成 AI モデルによって生成されたコンテンツ。
• ユーザーが生成した製品カタログなどのコンテンツをモデレートするオンライン マーケットプレース。
• ユーザーが生成したゲームの成果物とチャット ルームをモデレートするゲーム会社。
• ユーザーによって追加された画像とテキストをモデレートするソーシャル メッセージング プラットフォーム。
• コンテンツに対する一元的なモデレーションを実装するエンタープライズ メディア企業。
• K-12 教育ソリューション プロバイダーは、学生や教師にとって不適切なコンテンツを除外します。

コンテンツセーフティスタジオ

Azure AI Content Safety Studio は、最先端のコンテンツ モデレーション ML モデルを使って、不快、危険、または望ましくない可能性があるコンテンツを処理するように設計されたオンライン ツールです。 テンプレートとカスタマイズされたワークフローを備えており、ユーザーは独自のコンテンツ モデレーション システムを選び、構築することができます。 ユーザーは、自分のコンテンツをアップロードしたり、用意されているサンプル コンテンツを使って試したりすることができます。

Content Safety Studio には、そのまま利用できる AI モデルが含まれているだけでなく、不適切な表現を検出し常にコンテンツの最新の傾向を把握するための Microsoft による組み込みの用語ブロックリストも含まれています。 また、独自のブロックリストをアップロードして、ユース ケースに固有の有害コンテンツの範囲を拡張することもできます。

Studio では、 コンテンツ モデレーションのパフォーマンスを継続的に監視および向上できるモデレーション ワークフローを設定することもできます。 ゲーム、メディア、教育、eコマースなど、あらゆる業界のコンテンツ要件に対応できます。 企業は、自社のサービスを Studio に簡単に接続し、ユーザー生成か AI 生成かを問わず、リアルタイムでコンテンツをモデレートできます。

これらの機能はすべて Studio とそのバックエンドによって処理されるので、お客様はモデル開発について心配する必要はありません。 データをオンボードして手早く検証し、その結果に応じて、技術メトリック (待ち時間、精度、再現率) やビジネス メトリック (ブロック率、ブロック量、カテゴリ比率、言語比率など) のような KPI を監視できます。 操作と構成はシンプルなので、お客様は手動でカスタム モデルの実験やモデレーションを行うことに時間を費やすことなく、短期間でさまざまなソリューションをテストし、最適なものを見つけることができます。

Content Safety Studio の機能

Content Safety Studio では、次の Azure AI Content Safety 機能が利用できます。

• テキスト コンテンツをモデレートする: テキスト モデレーション ツールを使うと、テキスト コンテンツのテストを簡単に実行できます。 1 文のテストでもデータセット全体のテストでも、ユーザー フレンドリなインターフェイスのツールを使い、ポータルで直接テスト結果を評価できます。 さまざまな感度レベルを実験してコンテンツ フィルターとブロックリスト管理を構成できます。こうすることで、常に想定した仕様どおりにコンテンツをモデレートできます。 さらに、コードをエクスポートする機能を使って、ツールをアプリケーションに直接実装できるので、ワークフローを合理化し、時間を節約できます。

• 画像コンテンツをモデレートする: 画像モデレーション ツールを使うと、画像のテストを簡単に実行し、コンテンツ基準を満たすかどうかを確認できます。 ユーザーフレンドリなインターフェイスを使い、テスト結果をポータルで直接評価することができます。また、さまざまな感度レベルを実験してコンテンツ フィルターを構成できます。 設定をカスタマイズしたら、コードをエクスポートして、簡単にアプリケーションにツールを実装できます。

• オンライン アクティビティを監視する: 強力な監視ページを使って、さまざまなモダリティのモデレーション API の使用状況や傾向を簡単に追跡できます。 この機能を使うと、カテゴリや重大度の分布、待機時間、エラー、ブロックリストの検出など、詳細な応答情報にアクセスできます。 この情報からコンテンツ モデレーションのパフォーマンスの全体像を把握して、ワークフローを最適化し、常に想定した仕様どおりにコンテンツをモデレートできます。 インターフェイスはユーザーフレンドリなので、監視ページを短時間で簡単に操作できるようになり、コンテンツ モデレーション戦略について情報に基づいて決定を下すために必要な情報にアクセスできます。 コンテンツ モデレーションのパフォーマンスを常に把握し、コンテンツの目標を達成するために必要なツールが用意されています。

セキュリティ

Microsoft Entra ID またはマネージド ID

セキュリティの強化には、Microsoft Entra ID またはマネージド ID (MI) によるリソース アクセス管理が役立ちます。

• Content Safety リソースを作成すると、マネージド ID が自動的に有効になります。
• Microsoft Entra ID は、API シナリオと SDK シナリオの両方に対応しています。 「Microsoft Entra ID を使用して認証する」で説明されている一般的な AI サービス ガイドラインを参照してください。 また、組織内の他のユーザーに Cognitive Services Users と Reader というロールを割り当ててアクセス権を付与することもできます。 Azure portal を使って Azure リソースへのアクセス権をユーザーに付与する方法については、ロールベースのアクセス制御ガイドに関する記事を参照してください。

保存データの暗号化

Azure AI Content Safety がデータの暗号化と復号化を処理する方法に関する記事を参照してください。 カスタマー マネージド キー (CMK) (Bring Your Own Key (BYOK) とも呼ばれます) を使用すると、アクセス制御の作成、ローテーション、無効化、取り消しを、いっそう柔軟に行うことができます。 また、データを保護するために使われる暗号化キーを監査することもできます。

Pricing

Azure AI Content Safety には、 F0 と S0 の 価格レベルがあります。 詳細については、Azure の価格に 関するページを参照してください。

サービスの制限

入力の要件

各機能の入力要件については、次の一覧を参照してください。

• Analyze text API:
  • 既定の最大長: 10,000 文字 (必要に応じて長いテキストを分割)。
• Analyze Image API:
  • 最大画像ファイル サイズ: 4 MB
  • 50 x 50 ~ 7200 x 7,200 ピクセルの寸法。
  • 画像は、JPEG、PNG、GIF、BMP、TIFF、または WEBP 形式を使用できます。
• マルチモーダル API の分析 (プレビュー):
  • 既定の最大テキスト長: 1,000 文字。
  • 最大画像ファイル サイズ: 4 MB
  • 50 x 50 ~ 7200 x 7,200 ピクセルの寸法。
  • 画像は、JPEG、PNG、GIF、BMP、TIFF、または WEBP 形式を使用できます。
• プロンプト シールド API:
  • プロンプトの最大長: 10,000 文字。
  • 合計 10,000 文字の最大 5 つのドキュメント。
• グラウンデッドネス検出 API (プレビュー):
  • 根拠となるソースの最大長: 55,000 文字 (API 呼び出しあたり)。
  • テキストとクエリの最大長: 7,500 文字。
  • クエリの最小長: 3 単語。
• 保護されたマテリアルの検出 API:
  • 既定の最大長: 10,000 文字。
  • 既定の最小長: 110 文字 (ユーザー プロンプトではなく LLM の完了をスキャンする場合)。
• カスタム カテゴリ (標準) API (プレビュー):
  • 推論入力の最大長: 1,000 文字。
• タスクの準拠 (プレビュー):
  • 最大入力長: 100K 文字。

言語のサポート

保護されたマテリアル、根拠性の検出、およびカスタム カテゴリ (標準) 用の Azure AI Content Safety モデルは英語でしか機能しません。

その他の Azure AI Content Safety モデルは次の言語において特別にトレーニングかつテストされています: 中国語、英語、フランス語、ドイツ語、スペイン語、イタリア語、日本語、ポルトガル語。 しかし、これらのサービスはその他の多くの言語でも機能します (品質は言語によって異なる場合があります)。 いずれの場合も、独自のテストを実行して、アプリケーションに対して動作することを確認する必要があります。

詳細については、サポートされている言語を参照してください。

リージョンの可用性

Content Safety API を使用するには、サポートされているリージョン内に Azure AI Content Safety リソースを作成する必要があります。 現在、Content Safety 機能は、次の Azure リージョンで、さまざまな API バージョンを使用して利用できます。

ビジネスで他のリージョンを利用できるようにする必要がある場合は、お気軽にお 問い合わせください 。

クエリ速度

Content Safety 機能には、1 秒あたりの要求数 (RPS) または 10 秒あたりの要求数 (RP10S) のクエリ レート制限があります。 各機能の速度制限については、次の表を参照してください。

より速いレートが必要な場合は、 お問い合わせください 。

お問い合わせ

停止した場合は、 Microsoft にメールを送信 するか、Microsoft Learn ページの下部にあるフィードバック ウィジェットを使用してください。

次のステップ

開発パスを選択します。

テキストモデレーション:

イメージモデレーション:

プロンプト保護: