에이전트가 처리한 건 중 사람이 되돌린 것을 보여주는 관리자 페이지입니다.

• 묶음 기준: verdict
• 한 행: 사유 라벨 · case_no + 한 줄 요약(근거 수치 포함)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 정답표와 맞은 건 · 정답 60건 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 처리 기록이 0건이면 묶음 대신 읽은 파일 이름과 0건임을 보여주고 자동화율은 계산하지 않습니다.
• 필수 값이 빠졌거나 타입이 어긋난 행은 판정에서 빼고 어느 행이 왜 빠졌는지 상단에 목록으로 남깁니다. 나머지 건의 판정은 그대로 나옵니다.

{"type":"object","properties":{"case_no":{"type":"string"},"verdict":{"type":"string","enum":["automated","reverted_by_human","edited_by_human","escalated","intervention_time_missing","case_not_found","task_type_unmapped","duplicate_case"]},"agent_action":{"type":["string","null"]},"intervention_kind":{"type":["string","null"]},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":["string","null"]},"value":{},"quote":{"type":["string","null"]}},"required":["field","value"]}},"next_action":{"type":"string"}},"required":["case_no","verdict","agent_action","intervention_kind","evidence","next_action"]}

[
  {
    "case_no": "CS-001",
    "verdict": "automated",
    "agent_action": "approved",
    "intervention_kind": null,
    "evidence": [
      {
        "field": "handled_at",
        "value": "2026-08-10T09:00"
      },
      {
        "field": "confidence",
        "value": 0.95
      }
    ],
    "next_action": "사람 손이 닿지 않았습니다. 자동화 건으로 셉니다."
  },
  {
    "case_no": "CS-009",
    "verdict": "automated",
    "agent_action": "approved",
    "intervention_kind": "confirmed",
    "evidence": [
      {
        "field": "intervention_kind",
        "value": "confirmed"
      },
      {
        "field": "reason_note",
        "value": "확인만 하고 그대로 둠"
      }
    ],
    "next_action": "사람이 확인만 하고 결과를 바꾸지 않았습니다. 자동화 건으로 셉니다."
  },
  {
    "case_no": "CS-002",
    "verdict": "reverted_by_human",
    "agent_action": "approved",
    "intervention_kind": "reverted",
    "evidence": [
      {
        "field": "intervention_kind",
        "value": "reverted"
      },
      {
        "field": "reason_note",
        "value": "공급사 코드가 달라 승인 취소",
        "quote": "공급사 코드"
      },
      {
        "field": "confidence",
        "value": 0.62
      }
    ],
    "next_action": "승인이 취소됐고 확신도도 낮았습니다. 확신도 기준선을 올릴지 검토합니다."
  },
  {
    "case_no": "CS-007",
    "verdict": "edited_by_human",
    "agent_action": "replied",
    "intervention_kind": "edited",
    "evidence": [
      {
        "field": "intervention_kind",
        "value": "edited"
      },
      {
        "field": "reason_note",
        "value": "문구를 규정 문장으로 교체",
        "quote": "규정 문장"
      }
    ],
    "next_action": "답변 문구가 고쳐졌습니다. 규정 문장을 프롬프트에 넣을지 검토합니다."
  },
  {
    "case_no": "CS-008",
    "verdict": "escalated",
    "agent_action": "posted",
    "intervention_kind": "escalated",
    "evidence": [
      {
        "field": "intervention_kind",
        "value": "escalated"
      },
      {
        "field": "task_type_raw",
        "value": "stock_adjust",
        "quote": "stock_adjust"
      }
    ],
    "next_action": "사람에게 넘어갔습니다. 자동화로 세지 않고 유형별 비율에 넣습니다."
  },
  {
    "case_no": "CS-008",
    "verdict": "intervention_time_missing",
    "agent_action": "posted",
    "intervention_kind": "escalated",
    "evidence": [
      {
        "field": "intervened_at",
        "value": null
      },
      {
        "field": "handled_at",
        "value": "2026-08-13T09:00"
      }
    ],
    "next_action": "개입 시각이 비어 있어 순서를 확인하지 못했습니다. 자동화로 세지 않고 기록을 다시 받습니다."
  },
  {
    "case_no": "CS-999",
    "verdict": "case_not_found",
    "agent_action": null,
    "intervention_kind": "reverted",
    "evidence": [
      {
        "field": "case_no",
        "value": "CS-999"
      },
      {
        "field": "operator",
        "value": "박정우"
      }
    ],
    "next_action": "처리 기록에 없는 건입니다. 사람만 처리한 건인지 확인하고 분모에서 뺍니다."
  },
  {
    "case_no": "CS-002",
    "verdict": "duplicate_case",
    "agent_action": "approved",
    "intervention_kind": "reverted",
    "evidence": [
      {
        "field": "case_no",
        "agg": "count",
        "value": 2
      }
    ],
    "next_action": "같은 건 번호가 두 번 적재됐습니다. 앞 건으로만 판정하고 뒤 건을 분모에서 뺍니다."
  }
]

[자동 검증 · 1주차] 1. verdict가 enum 여덟 값 안에 있는지 확인합니다. 2. case_no·verdict·agent_action·intervention_kind·evidence·next_action이 모두 있는지 확인합니다. 3. confidence가 0.0 이상 1.0 이하인지 확인합니다. 4. intervened_at이 null이면 verdict가 intervention_time_missing인지 확인합니다. 5. evidence의 field가 두 입력 표의 컬럼에 실재하는지 확인합니다. 6. evidence의 quote가 그 행 reason_note 또는 task_type_raw의 일부인지 확인합니다. 7. next_action이 존댓말로 끝나는지 확인합니다. [판정 규칙] 1. 업무 유형 표기은 대소문자와 띄어쓰기, 구분자를 없애 소문자로 모은 뒤 task_type_catalog의 task_type_id와 맞춥니다. 맞는 것이 없으면 미매핑으로 남기고 그 행은 나머지 판정에서 뺍니다. 2. 같은 행 번호가 두 번 들어오면 앞 건만 남기고 뒤 건은 적재 단계에서 사유와 함께 뺍니다. [수동 검증] 1. 되돌려진 건이 에이전트 실수인지 업무 규칙 변경인지 현업 담당자가 확인합니다. 2. CS-002·CS-003처럼 유형 표기가 흔들렸지만 사전으로 맞춰진 건은 미매핑 사유를 달지 않는 것이 맞는지 확인합니다. [평가 러너 · 2주차] 1. 업무 유형별 되돌림 비율을 세어 어느 유형이 아직 자동화에 못 미치는지 나눕니다. 2. 기록과 정답을 작성자가 만든 합성 기준이라 이 수치는 성능 측정이 아니라 데모 조건 동작입니다.