업무 요청을 처리하는 담당자를 위해 요청마다 실행할 시스템 액션을 정해 큐로 넘기는 AI Agent

{"type":"object","properties":{"request_id":{"type":"string"},"intent":{"type":"string"},"action_type":{"enum":["approval","lookup","register","route","reject"]},"action_id":{"type":["string","null"]},"params":{"type":"array","items":{"type":"object","properties":{"name":{"type":"string"},"value":{"type":"string"},"evidence_span":{"type":"string"}},"required":["name","value","evidence_span"]}},"missing_params":{"type":"array","items":{"type":"string"}},"route_to":{"type":["string","null"]},"confidence":{"enum":["low","mid","high"]},"rationale":{"type":"string"}},"required":["request_id","action_type","action_id","params","missing_params","confidence"]}

[
  {
    "input_ref": "req_002 · naverworks · '3월 팀 회식비 법카 결재 좀 올려주세요'",
    "output": {
      "request_id": "req_002",
      "intent": "3월 팀 회식비를 법인카드 지출로 결재 상신",
      "action_type": "approval",
      "action_id": "act_expense_approval",
      "params": [
        {
          "name": "category",
          "value": "회식비",
          "evidence_span": "회식비"
        },
        {
          "name": "period",
          "value": "3월",
          "evidence_span": "3월"
        }
      ],
      "missing_params": [
        "amount"
      ],
      "route_to": null,
      "confidence": "mid",
      "rationale": "'법카'·'회식비'가 지출 결재(act_expense_approval) 별칭과 일치합니다. required_params 중 amount 가 원문에 없어 지어내지 않고 결측으로 표시했습니다. 금액 확인 후 상신이 필요합니다."
    }
  },
  {
    "input_ref": "req_003 · slack · '판교 창고에 프로젝터 재고 몇 대 남았는지 확인해줘'",
    "output": {
      "request_id": "req_003",
      "intent": "판교 창고 프로젝터 재고 수량 조회",
      "action_type": "lookup",
      "action_id": "act_inventory_lookup",
      "params": [
        {
          "name": "item",
          "value": "프로젝터",
          "evidence_span": "프로젝터"
        },
        {
          "name": "location",
          "value": "판교 창고",
          "evidence_span": "판교 창고"
        }
      ],
      "missing_params": [],
      "route_to": null,
      "confidence": "high",
      "rationale": "'재고'·'창고'가 act_inventory_lookup 별칭과 일치하고 item·location 이 원문에서 모두 추출됩니다. 필수값 결측이 없어 바로 조회 디스패치가 가능합니다."
    }
  },
  {
    "input_ref": "req_008 · slack · '고객사 상주 교통비 정산은 어느 팀에 문의해야 하나요?'",
    "output": {
      "request_id": "req_008",
      "intent": "고객사 상주 교통비 정산 담당 문의",
      "action_type": "route",
      "action_id": null,
      "params": [],
      "missing_params": [],
      "route_to": "총무팀",
      "confidence": "mid",
      "rationale": "교통비 정산에 대응하는 레지스트리 액션이 없어(미매핑) 액션을 지어내지 않고 총무팀으로 라우팅합니다."
    }
  },
  {
    "input_ref": "req_009 · slack · '다들 점심 뭐 드셨어요 ㅎㅎ'",
    "output": {
      "request_id": "req_009",
      "intent": "잡담(업무 요청 아님)",
      "action_type": "reject",
      "action_id": null,
      "params": [],
      "missing_params": [],
      "route_to": null,
      "confidence": "high",
      "rationale": "실행 가능한 업무 요청이 아니어서 어떤 커넥터로도 디스패치하지 않습니다."
    }
  }
]

[자동 검증: 규칙·결정론으로 채점] 1. JSON Schema parse: action plan 이 위 스키마 형식을 통과하는지(필드 누락·타입 깨짐 차단). 2. 인용 청크 일치: 각 params[].evidence_span 이 요청 raw_text 의 실제 substring 인지(공백 정규화 후). 지어낸 근거를 차단합니다. 3. 액션 타입 정확도: action_type 이 gold_action_type 과 일치한 비율. 4. 액션 ID 해소 정확도: action_id 가 gold_action_id 와 일치한 비율(미매핑은 null 로 표기 포함). action_registry 조인 실패 시 null 이어야 정답. 5. 결측 재현율/정밀도: missing_params 가 action_registry.required_params 대비 실제 빠진 값과 일치하는지. [수동 검증: 사람 표본] 1. Claude Haiku 저비용 2차 분류와 1차 결정이 불일치한 건, 그리고 confidence=low 건을 사람 큐로 보내 검토합니다. 2. route/reject 경계 케이스(맥락 부족·멀티인텐트)는 전수 대비 5% 를 사람이 spot check 합니다. (κ 등 통계 지표는 이 포트폴리오 범위에서 쓰지 않고, 분류 일치율과 인용 존재율 같은 직접 지표로만 채점합니다.)