概述

審核端點是一種工具，可用于檢查內(nèi)容是否符合 OpenAI 的使用策略。因此，開發(fā)人員可以識別我們的使用政策禁止的內(nèi)容并采取行動，例如過濾它。

這些模型將以下類別分類：

在監(jiān)控 OpenAI API 的輸入和輸出時，可以免費使用審核端點。我們目前不支持監(jiān)測第三方流量。

我們一直在努力提高分類器的準確性，尤其是在改進仇恨、自殘和暴力/露骨內(nèi)容的分類。我們對非英語語言的支持目前有限。

快速開始

要獲取一段文本的分類，請向?qū)徍硕它c發(fā)出請求，如以下代碼片段所示：

response = openai.Moderation.create(
    input="Sample text goes here"
)
output = response["results"][0]

curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{"input": "Sample text goes here"}'

下面是端點的示例輸出。它返回以下字段：

• flagged: 如果模型將內(nèi)容分類為違反 OpenAI 的使用策略，則設(shè)置為 true，否則設(shè)置為 false。
• categories: 包含每個類別的二進制使用策略違規(guī)標志的字典。對于每個類別，如果模型將相應(yīng)類別標記為違規(guī)，則該值為 true，否則為 false。
• category_scores: 包含模型輸出的每個類別原始分數(shù)的字典，表示模型對輸入違反 OpenAI 的類別策略的信心。該值介于 0 和 1 之間，其中較高的值表示較高的置信度。分數(shù)不應(yīng)解釋為概率。

{
  "id": "modr-XXXXX",
  "model": "text-moderation-001",
  "results": [
    {
      "categories": {
        "hate": false,
        "hate/threatening": false,
        "self-harm": false,
        "sexual": false,
        "sexual/minors": false,
        "violence": false,
        "violence/graphic": false
      },
      "category_scores": {
        "hate": 0.18805529177188873,
        "hate/threatening": 0.0001250059431185946,
        "self-harm": 0.0003706029092427343,
        "sexual": 0.0008735615410842001,
        "sexual/minors": 0.0007470346172340214,
        "violence": 0.0041268812492489815,
        "violence/graphic": 0.00023186142789199948
      },
      "flagged": false
    }
  ]
}

OpenAI 將不斷升級審核端點的底層模型。因此，依賴于 category_scores 的自定義策略可能需要隨著時間的推移重新校準。