OpenAI CTO

适度

根据一些输入文本，输出模型是否将其归类为几个潜在有害的类别。

相关指南：适度

创建审核

端点信息

方法： POST
路径： https://api.openai.com/v1/moderations

简介

此端点用于判断文本是否可能具有潜在的危害。

请求体参数

  • input（必需）：需要分类的输入文本，可以是字符串或数组。
  • model（可选）：可用的内容审核模型包括 text-moderation-stable 和 text-moderation-latest。默认值为 text-moderation-latest，该模型会自动升级，确保您始终使用最准确的模型。如果您使用 text-moderation-stable，我们将在更新模型前提前通知您。使用 text-moderation-stable 的准确性可能略低于 text-moderation-latest。

返回值

返回一个审核对象。

示例请求

curl https://api.openai.com/v1/moderations \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "input": "我想打败他们。"
  }'

响应示例

{
  "id": "modr-XXXXX",
  "model": "text-moderation-005",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": true,
        "violence": true
      },
      "category_scores": {
        "sexual": 1.2282071e-06,
        "hate": 0.010696256,
        "harassment": 0.29842457,
        "self-harm": 1.5236925e-08,
        "sexual/minors": 5.7246268e-08,
        "hate/threatening": 0.0060676364,
        "violence/graphic": 4.435014e-06,
        "self-harm/intent": 8.098441e-10,
        "self-harm/instructions": 2.8498655e-11,
        "harassment/threatening": 0.63055265,
        "violence": 0.99011886
      }
    }
  ]
}

审核对象

表示给定文本输入是否可能有害。

参数

  • id（string）：审核请求的唯一标识符。
  • model（string）：用于生成审核结果的模型。
  • results（array）：审核对象列表，包括：
    • flagged（boolean）：是否被标记为有害。
    • categories（object）：各种潜在有害内容的分类，包括：
      • sexual（boolean）：是否包含性相关内容。
      • hate（boolean）：是否包含仇恨言论。
      • harassment（boolean）：是否包含骚扰内容。
      • self-harm（boolean）：是否包含自我伤害内容。
      • sexual/minors（boolean）：是否涉及未成年人的性内容。
      • hate/threatening（boolean）：是否包含威胁性的仇恨言论。
      • violence/graphic（boolean）：是否包含暴力或图形内容。
      • self-harm/intent（boolean）：是否有自我伤害的意图。
      • self-harm/instructions（boolean）：是否提供自我伤害的指导。
      • harassment/threatening（boolean）：是否包含威胁性的骚扰。
      • violence（boolean）：是否包含暴力行为。
    • category_scores（object）：各个类别的评分。

示例对象

{
  "id": "modr-XXXXX",
  "model": "text-moderation-005",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": true,
        "violence": true
      },
      "category_scores": {
        "sexual": 1.2282071e-06,
        "hate": 0.010696256,
        "harassment": 0.29842457,
        "self-harm": 1.5236925e-08,
        "sexual/minors": 5.7246268e-08,
        "hate/threatening": 0.0060676364,
        "violence/graphic": 4.435014e-06,
        "self-harm/intent": 8.098441e-10,
        "self-harm/instructions": 2.8498655e-11,
        "harassment/threatening": 0.63055265,
        "violence": 0.99011886
      }
    }
  ]
}

Was this page helpful?