AI 엔지니어를 위해 평가셋 문항 중 문서로 채점할 수 없는 것을 판단해주는 CLI입니다.

{"type":"object","properties":{"item_no":{"type":"string"},"verdict":{"type":"string","enum":["verifiable","answer_not_in_source","answer_missing","doc_unmapped","duplicate_item"]},"matched_doc_id":{"type":["string","null"]},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":["string","null"]},"value":{},"quote":{"type":["string","null"]}},"required":["field","value"]}},"next_action":{"type":"string"}},"required":["item_no","verdict","matched_doc_id","evidence","next_action"]}

[
  {
    "item_no": "Q-001",
    "verdict": "verifiable",
    "matched_doc_id": "policy_refund",
    "evidence": [
      {
        "field": "expected_answer",
        "value": "7일"
      },
      {
        "field": "body",
        "value": "환불 신청은 상품 수령일로부터 7일 안에 해야 합니다. 환불 수수료는 2,000원이 부과됩니다. 환불 처리 기간은 영업일 기준 5일입니다. 반품 배송비는 구매자 부담입니다.",
        "quote": "7일 안에"
      }
    ],
    "next_action": "정답이 본문에 그대로 있습니다. 평가셋에 그대로 씁니다."
  },
  {
    "item_no": "Q-014",
    "verdict": "verifiable",
    "matched_doc_id": "policy_exchange",
    "evidence": [
      {
        "field": "expected_answer",
        "value": "14일"
      },
      {
        "field": "body",
        "value": "교환 가능 기간은 상품 수령일로부터 14일입니다. 교환 접수 창구는 고객센터 채팅입니다. 사용 흔적이 있는 상품은 교환이 어렵습니다.",
        "quote": "14일입니다"
      }
    ],
    "next_action": "정답이 본문에 그대로 있습니다. 평가셋에 그대로 씁니다."
  },
  {
    "item_no": "Q-003",
    "verdict": "answer_not_in_source",
    "matched_doc_id": "policy_shipping",
    "evidence": [
      {
        "field": "expected_answer",
        "value": "3일"
      },
      {
        "field": "title",
        "value": "배송 정책"
      }
    ],
    "next_action": "지목한 문서에 그 값이 없습니다. 지연 기준이 적힌 문서를 담당자에게 물어봅니다."
  },
  {
    "item_no": "Q-009",
    "verdict": "answer_missing",
    "matched_doc_id": "policy_exchange",
    "evidence": [
      {
        "field": "expected_answer",
        "value": null
      },
      {
        "field": "answer_type",
        "value": "fact"
      }
    ],
    "next_action": "정답 칸이 비어 있습니다. 채점 가능으로 세지 않고 담당자에게 정답을 요청합니다."
  },
  {
    "item_no": "Q-007",
    "verdict": "doc_unmapped",
    "matched_doc_id": null,
    "evidence": [
      {
        "field": "source_doc_raw",
        "value": "POLICY-OVERSEAS",
        "quote": "POLICY-OVERSEAS"
      }
    ],
    "next_action": "코퍼스에 없는 문서를 지목했습니다. 문서를 받기 전에는 평가셋에서 빼 둡니다."
  },
  {
    "item_no": "Q-002",
    "verdict": "duplicate_item",
    "matched_doc_id": "policy_refund",
    "evidence": [
      {
        "field": "item_no",
        "agg": "count",
        "value": 2
      }
    ],
    "next_action": "같은 문항 번호가 두 번 등록됐습니다. 앞 건으로만 판정하고 뒤 건을 평가셋에서 뺍니다."
  }
]

[자동 검증 · 1주차] 1. verdict가 enum 다섯 값 안에 있는지 확인합니다. 2. item_no·verdict·matched_doc_id·evidence·next_action이 모두 있는지 확인합니다. 3. answer_type이 네 값 안에 있는지 확인합니다. 4. expected_answer가 null이면 verdict가 answer_missing인지 확인합니다. 5. evidence의 field가 두 입력 표의 컬럼에 실재하는지 확인합니다. 6. evidence의 quote가 그 문서 body의 일부인지 확인합니다. 7. next_action이 존댓말로 끝나는지 확인합니다. [판정 규칙] 1. 근거 문서 표기은 대소문자와 띄어쓰기, 구분자를 없애 소문자로 모은 뒤 corpus_documents의 doc_id와 맞춥니다. 맞는 것이 없으면 미매핑으로 남기고 그 행은 나머지 판정에서 뺍니다. 2. 같은 행 번호가 두 번 들어오면 앞 건만 남기고 뒤 건은 적재 단계에서 사유와 함께 뺍니다. [수동 검증] 1. 본문에 정답이 없다고 걸린 문항이 여러 문단을 합쳐야 답이 나오는 문항인지 담당자가 읽어 확인합니다. 2. Q-002·Q-004처럼 문서 표기가 흔들렸지만 코퍼스로 맞춰진 문항은 미매핑 사유를 달지 않는 것이 맞는지 확인합니다. [평가 러너 · 2주차] 1. 정답 위치를 찾은 문항과 못 찾은 문항을 세어 표기 정규화가 얼마나 헛경고를 줄이는지 나눕니다. 2. 문항과 정답을 작성자가 만든 합성 기준이라 이 수치는 성능 측정이 아니라 데모 조건 동작입니다.