AI 가 대신 보낸 메일이 원문에 있던 말인지 짚어 드립니다

• 묶음 기준: verdict
• 한 행: 사유 라벨 · action_no + 한 줄 요약(근거 수치 포함)
• 근거 표는 행을 펼쳤을 때 보입니다 (`field` / `agg` / `value` / `quote` 열)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 판정 일치 · 정답 15건 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 메일함을 연결하기 전에는 샘플 데이터 보기로 화면을 확인합니다.
• 행동 기록의 열이 빠지거나 확신도 칸이 비면 카드 목록 대신 어느 줄이 왜 걸렸는지 보여 주고 화면은 살아 있습니다.

{"type":"object","properties":{"action_no":{"type":"string"},"thread_id":{"type":"string"},"counterpart":{"type":"string"},"verdict":{"type":"string","enum":["원문대로 나감","메일에 없는 사실 지어냄","회신 기한 넘겨 처리","확인 받아야 하는데 그냥 보냄","같은 대화에 두 번 답장"]},"overdue_hours":{"type":["number","null"],"description":"agent_action.sent_at 과 mailbox_thread.received_at 의 차를 시간으로 잰 뒤 그 종류의 max_reply_hours 를 뺀 값이며 소수 둘째 자리까지 반올림합니다. 그 세 값은 evidence 에 그대로 싣습니다. 판정과 무관하게 채웁니다 — 다른 사유가 먼저 걸린 처리도 기한을 넘겼으면 그 시간이 남습니다. 뺀 값이 0 이하이거나 상대가 회신 기한을 적지 않은 대화는 null 로 둡니다."},"low_confidence":{"type":"boolean","description":"그 처리의 confidence 가 종류별 min_confidence 에 못 미치면 참입니다. needs_confirm 이 거짓이라 사람 확인 없이 나간 처리도 이 칸으로 확인 목록에 올라옵니다."},"summary":{"type":"string"},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":"string","enum":["count"],"description":"이 항목의 value 가 수록 행의 값이 아니라 그 컬럼으로 센 행 수임을 밝힙니다. 없으면 수록 행의 값 그대로입니다."},"value":{"type":["string","number","boolean","null"]},"quote":{"type":"string"}},"required":["field"]}},"hedge":{"type":["string","null"]}},"required":["action_no","thread_id","counterpart","verdict","overdue_hours","low_confidence","summary","evidence","hedge"]}

[
  {
    "action_no": "ACT-20260303-001",
    "thread_id": "TH-1041",
    "counterpart": "관리사무소",
    "verdict": "원문대로 나감",
    "overdue_hours": null,
    "summary": "관리사무소 회신은 원문에 없던 날짜와 금액을 넣지 않았고 상대가 적어 둔 기한 안에 나갔습니다.",
    "evidence": [
      {
        "field": "action_no",
        "value": "ACT-20260303-001",
        "quote": "ACT-20260303-001"
      },
      {
        "field": "extracted_amount",
        "value": null
      },
      {
        "field": "body_amount",
        "value": null
      },
      {
        "field": "confidence",
        "value": 0.88
      },
      {
        "field": "min_confidence",
        "value": 0.7
      }
    ],
    "hedge": null,
    "low_confidence": false
  },
  {
    "action_no": "ACT-20260303-013",
    "thread_id": "TH-1052",
    "counterpart": "학원",
    "verdict": "원문대로 나감",
    "overdue_hours": null,
    "summary": "학원 부재 안내는 원문에 없던 값을 넣지 않았고 사람 확인이 필요한 종류도 아닙니다.",
    "evidence": [
      {
        "field": "action_no",
        "value": "ACT-20260303-013",
        "quote": "ACT-20260303-013"
      },
      {
        "field": "extracted_due_date",
        "value": null
      },
      {
        "field": "confidence",
        "value": 0.94
      },
      {
        "field": "min_confidence",
        "value": 0.6
      },
      {
        "field": "needs_confirm",
        "value": false
      }
    ],
    "hedge": null,
    "low_confidence": false
  },
  {
    "action_no": "ACT-20260303-002",
    "thread_id": "TH-1042",
    "counterpart": "세무사",
    "verdict": "메일에 없는 사실 지어냄",
    "overdue_hours": null,
    "summary": "세무사 회신에 120만원이라는 금액이 들어갔는데 원문 메일에는 금액이 없습니다.",
    "evidence": [
      {
        "field": "action_no",
        "value": "ACT-20260303-002",
        "quote": "ACT-20260303-002"
      },
      {
        "field": "extracted_amount",
        "value": 1200000
      },
      {
        "field": "body_amount",
        "value": null
      },
      {
        "field": "confidence",
        "value": 1
      },
      {
        "field": "subject",
        "value": "부가세 신고 자료 요청",
        "quote": "부가세 신고 자료 요청"
      }
    ],
    "hedge": "모델 확신도가 최대값 1.00 인 채로 원문에 없는 금액이 나갔습니다. 확신도만 보고는 지어낸 답장을 거르지 못합니다.",
    "low_confidence": false
  },
  {
    "action_no": "ACT-20260303-003",
    "thread_id": "TH-1043",
    "counterpart": "채용 담당",
    "verdict": "메일에 없는 사실 지어냄",
    "overdue_hours": 15.52,
    "summary": "채용 담당 회신이 제출 마감을 3월 14일로 답했는데 원문 메일의 마감은 3월 4일입니다.",
    "evidence": [
      {
        "field": "action_no",
        "value": "ACT-20260303-003",
        "quote": "ACT-20260303-003"
      },
      {
        "field": "extracted_due_date",
        "value": "2026-03-14"
      },
      {
        "field": "body_due_date",
        "value": "2026-03-04"
      },
      {
        "field": "subject",
        "value": "과제 제출 안내",
        "quote": "과제 제출 안내"
      },
      {
        "field": "received_at",
        "value": "2026-03-02T10:00"
      },
      {
        "field": "sent_at",
        "value": "2026-03-03T07:31"
      },
      {
        "field": "max_reply_hours",
        "value": 6
      }
    ],
    "hedge": "이 처리는 회신 기한도 15.52시간 넘겼습니다. 판정 순서상 지어냄이 먼저 걸려 카드는 그쪽으로 세우고, 넘긴 시간은 칸에 남겨 둡니다.",
    "low_confidence": false
  },
  {
    "action_no": "ACT-20260303-004",
    "thread_id": "TH-1044",
    "counterpart": "은행 알림",
    "verdict": "회신 기한 넘겨 처리",
    "overdue_hours": 12,
    "summary": "은행 알림 회신이 받은 지 18시간 만에 나가 회신 기준 6시간을 12시간 넘겼습니다.",
    "evidence": [
      {
        "field": "action_no",
        "value": "ACT-20260303-004",
        "quote": "ACT-20260303-004"
      },
      {
        "field": "received_at",
        "value": "2026-03-02T15:00"
      },
      {
        "field": "sent_at",
        "value": "2026-03-03T09:00"
      },
      {
        "field": "reply_deadline",
        "value": "2026-03-02T21:00"
      },
      {
        "field": "max_reply_hours",
        "value": 6
      }
    ],
    "hedge": null,
    "low_confidence": false
  },
  {
    "action_no": "ACT-20260303-007",
    "thread_id": "TH-1046",
    "counterpart": "통신사",
    "verdict": "확인 받아야 하는데 그냥 보냄",
    "overdue_hours": null,
    "summary": "결제 안내 회신은 사람 확인을 받고 나가야 하는 종류인데 확신도 0.42 인 채로 발송까지 끝났습니다.",
    "evidence": [
      {
        "field": "action_no",
        "value": "ACT-20260303-007",
        "quote": "ACT-20260303-007"
      },
      {
        "field": "confidence",
        "value": 0.42
      },
      {
        "field": "min_confidence",
        "value": 0.7
      },
      {
        "field": "needs_confirm",
        "value": true
      },
      {
        "field": "sent_at",
        "value": "2026-03-03T08:15"
      }
    ],
    "hedge": null,
    "low_confidence": true
  },
  {
    "action_no": "ACT-20260303-006",
    "thread_id": "TH-1045",
    "counterpart": "집주인",
    "verdict": "같은 대화에 두 번 답장",
    "overdue_hours": 7.18,
    "summary": "집주인 대화에 답장이 39분 사이로 두 통 나갔는데 그 사이 새로 받은 메일이 없습니다.",
    "evidence": [
      {
        "field": "action_no",
        "value": "ACT-20260303-005",
        "quote": "ACT-20260303-005"
      },
      {
        "field": "action_no",
        "value": "ACT-20260303-006",
        "quote": "ACT-20260303-006"
      },
      {
        "field": "action_no",
        "agg": "count",
        "value": 2
      },
      {
        "field": "received_at",
        "value": "2026-03-02T19:30"
      },
      {
        "field": "sent_at",
        "value": "2026-03-03T08:02"
      },
      {
        "field": "sent_at",
        "value": "2026-03-03T08:41"
      },
      {
        "field": "max_reply_hours",
        "value": 6
      }
    ],
    "hedge": "두 통 가운데 나중 답장이 회신 기한을 7.18시간 넘겼습니다. 판정 순서상 두 번 답장이 먼저라 카드는 그쪽으로 세웁니다.",
    "low_confidence": false
  },
  {
    "action_no": "ACT-20260303-015",
    "thread_id": "TH-1054",
    "counterpart": "동호회 총무",
    "verdict": "원문대로 나감",
    "overdue_hours": null,
    "low_confidence": true,
    "summary": "동호회 총무 메일 전달은 원문에 없던 값을 넣지 않았지만 확신도 0.55 가 전달 기준 0.60 에 못 미칩니다.",
    "evidence": [
      {
        "field": "action_no",
        "value": "ACT-20260303-015",
        "quote": "ACT-20260303-015"
      },
      {
        "field": "confidence",
        "value": 0.55
      },
      {
        "field": "min_confidence",
        "value": 0.6
      },
      {
        "field": "needs_confirm",
        "value": false
      },
      {
        "field": "extracted_amount",
        "value": null
      }
    ],
    "hedge": "이 종류는 사람 확인 대상이 아니라 기준 점수에 못 미쳐도 그대로 나갑니다. 판정은 원문대로 나감이지만 확신도가 낮은 처리 목록에 함께 올려 사용자가 한 번 보게 합니다."
  }
]

[자동 검증 · 사람 없이 러너가 돌립니다] 1. verdict 가 스키마가 선언한 다섯 값 안에 있는지 확인합니다. 2. action_no·thread_id·verdict·overdue_hours·low_confidence·summary·evidence 필드가 샘플에 있는지 확인합니다. 3. agent_action 의 confidence 가 0 이상 1 이하 범위인지 확인합니다. 4. overdue_hours 를 그 처리의 sent_at 에서 그 대화의 received_at 을 뺀 시간에서 action_policy.max_reply_hours 를 뺀 값으로 다시 계산해 소수 둘째 자리까지 반올림한 값과 같은지 봅니다. **판정과 무관하게 채웁니다** — 지어냄이나 두 번 답장으로 판정이 갈린 처리도 기한을 넘겼으면 그 시간이 남고, 뺀 값이 0 이하이거나 reply_deadline 이 비어 있으면 null 입니다. 5. low_confidence 를 confidence 가 그 종류의 min_confidence 보다 작은지로 다시 계산해 같은 값인지 봅니다. needs_confirm 이 참이면 verdict 가 확인 받아야 하는데 그냥 보냄으로 갔는지, 거짓이면 판정은 그대로 두고 이 칸만 참인지 맞춰 봅니다. 6. evidence 의 field 가 세 데이터셋의 컬럼에 실재하는지 확인합니다. 7. evidence 의 quote 가 수록 샘플의 원문 그대로인지 확인합니다. 8. summary 가 존댓말로 끝나는지 확인합니다. 9. 조건 규칙으로 mailbox_thread 의 reply_deadline 이 비어 있으면 overdue_hours 는 null 입니다. 성립 사례는 TH-1048 로 이어지는 처리이고, 불성립 사례는 ACT-20260303-004 입니다. [판정 순서 · 한 처리가 두 사유에 걸릴 때] ① 메일에 없는 사실 지어냄, ② 한 대화에 답장이 두 통 나간 경우, ③ 확인 받아야 하는데 그냥 보냄, ④ 회신 기한 넘겨 처리 차례로 보고 앞에서 걸리면 뒤는 보지 않습니다. ⑤ 어디에도 안 걸리면 원문대로 나감입니다. 사용자가 상대에게 다시 연락해야 하는 정도가 큰 순서입니다 — 없는 사실이 나간 답장은 정정 메일을 보내야 하지만 늦게 나간 답장은 이미 나갔습니다. ACT-20260303-003 은 지어냄과 기한 초과에, ACT-20260303-006 은 두 번 답장과 기한 초과에 함께 걸려 이 차례로 갈렸고, 넘긴 시간은 overdue_hours 칸에 그대로 남습니다. 확신도가 min_confidence 에 못 미치는데 needs_confirm 이 거짓인 처리는 verdict 를 바꾸지 않고 low_confidence 만 참으로 둡니다. 그 종류는 애초에 사람 확인 대상이 아니라 규칙을 어긴 것이 아니고, 그래도 사용자가 한 번 볼 자리는 필요하기 때문입니다. ACT-20260303-015 가 그 경우입니다. [수동 검증 · 사람이 봅니다] 1. 카드 문장이 프롬프트를 모르는 사용자에게 그대로 읽히는 말인지 봅니다. 2. 원문에 없는 값이라는 판정이 상대가 보낸 메일의 뜻과 어긋나지 않는지 봅니다. [평가 러너 · 2주차] 행동 기록 15건에 규칙으로 만든 정답표를 붙여 판정 일치를 세고, 갈라진 처리는 어느 사유에서 갈렸는지 나눠 리포트에 답니다.