생산·품질 담당자가 채팅으로 '○○라인 불량 원인 확인해줘'라고 하면 어느 조회·등록 도구를 어떤 값으로 부를지 계획하고, 대상 설비·과제가 대장에 없거나 요청이 모호하면 실행을 멈추고 되묻거나 담당자에게 넘기는 제조 운영 AI Agent 콘솔

{"type":"object","properties":{"req_id":{"type":"string"},"decision":{"type":"string","enum":["route","clarify","block"]},"tool":{"type":["string","null"],"enum":["query_quality","query_equipment_history","create_task","update_task_status","notify_owner",null]},"params":{"type":"object","properties":{"target_id":{"type":["string","null"]}},"required":["target_id"]},"factors":{"type":"array","items":{"type":"string","enum":["ok","unmapped_target","ambiguous_target","action_not_allowed","missing_owner","empty_request"]}},"reason":{"type":"string","minLength":20},"evidence":{"type":"string","minLength":8},"hedge":{"type":["string","null"]}},"required":["req_id","decision","tool","params","factors","reason","evidence"]}

[
  {
    "input_ref": "r_001 (정상 조회)",
    "output": {
      "req_id": "r_001",
      "decision": "route",
      "tool": "query_quality",
      "params": {
        "target_id": "line_a1"
      },
      "factors": [
        "ok"
      ],
      "reason": "A1 생산라인이 대장의 line_a1 로 매핑되고 query_quality 가 그 라인의 허용 작업 목록 안이라 품질조회 도구를 호출합니다.",
      "evidence": "target_id=line_a1, allowed_actions 에 query_quality 포함",
      "hedge": null
    }
  },
  {
    "input_ref": "r_004 (대장에 없는 설비)",
    "output": {
      "req_id": "r_004",
      "decision": "block",
      "tool": null,
      "params": {
        "target_id": null
      },
      "factors": [
        "unmapped_target"
      ],
      "reason": "요청이 가리키는 9호기가 운영 대장에 없어 어떤 설비인지 확인할 수 없습니다. 지어내 조회하지 않고 실행을 막습니다.",
      "evidence": "target_raw=9호기, 대장 매핑 없음(target_id=null)",
      "hedge": "대장에 없는 설비라 조회하지 않고 담당자 확인이 필요합니다"
    }
  },
  {
    "input_ref": "r_005 (모호한 요청)",
    "output": {
      "req_id": "r_005",
      "decision": "clarify",
      "tool": null,
      "params": {
        "target_id": null
      },
      "factors": [
        "ambiguous_target"
      ],
      "reason": "그 라인이라는 표현만으로는 어느 라인인지 특정되지 않아 후보가 여럿입니다. 실행 전에 어느 라인인지 되묻습니다.",
      "evidence": "target_raw=그 라인, 특정 불가(복수 후보)",
      "hedge": "대상 라인이 특정되지 않아 되묻습니다"
    }
  },
  {
    "input_ref": "r_006 (권한 밖 작업)",
    "output": {
      "req_id": "r_006",
      "decision": "block",
      "tool": null,
      "params": {
        "target_id": "line_a2"
      },
      "factors": [
        "action_not_allowed"
      ],
      "reason": "A2라인은 line_a2 로 매핑되지만 create_task 가 그 라인의 허용 작업 목록에 없어 과제 등록 권한이 없습니다. 실행을 막습니다.",
      "evidence": "target_id=line_a2, allowed_actions 에 create_task 없음",
      "hedge": "허용되지 않은 작업이라 실행하지 않습니다"
    }
  }
]

[자동 검증] 1. JSON Schema 로 출력 형식(필드·enum)이 통과하는지 확인해 필드 누락·잘못된 decision·tool 값을 거릅니다. 2. decision 이 매핑·허용 규칙(대장에 없음→block, 특정 불가·빈 요청→clarify, 허용 목록 밖→block, 통과→route)과 일치하는지 봅니다. 3. decision=route 면 tool 이 그 target_id 의 allowed_actions 에 실제로 들어 있는지(대장 대조) 확인하고, 허용 목록 밖이면 route 가 되지 않게 강제합니다. 4. decision 과 tool 을 심은 정답 gold_decision·gold_tool 과 비교해 라우팅 정확도와 되묻기·차단 정밀도·재현율을 계산합니다. [수동 검증] 1. 검수자 2명이 비동기로 실행/되묻기/차단을 라벨링해 정밀도·재현율과 bootstrap Cohen's κ(두 사람 판정 일치가 우연 이상인 정도, 0~1) 하한 0.6 이상을 봅니다. 2. 전체의 5% 를 사람이 직접 점검합니다.