AI Worker 가 서류에서 뽑은 값이 원문과 맞는지 검토자에게 보여줍니다.

• 묶음 기준: verdict
• 한 행: 사유 라벨 · item_key + 한 줄 요약(근거 수치 포함)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 판정 일치 · 정답 200칸 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 멈춘 실행이 없으면 검토할 칸이 없다는 문장과 샘플 실행 열기 버튼을 보여줍니다.
• 이벤트 모양이 틀리거나 원문 페이지를 못 불러온 칸은 판정 대신 다시 불러오기 상태로 두고, 나머지 칸 판정과 승인 버튼은 그대로 씁니다.

{"type":"object","properties":{"item_key":{"type":"string","description":"run_id 와 field_name 을 쌍점으로 이은 검토 항목 번호입니다."},"run_id":{"type":"string"},"field_name":{"type":"string"},"verdict":{"type":"string","enum":["원문과 맞음","근거 문구가 원문에 없음","원문 값과 다름","필수 칸이 빔","형식이 규칙과 다름"]},"ai_value":{"type":["string","null"]},"source_value":{"type":["string","null"],"description":"evidence_text 가 원문에 있을 때 그 문구에서 value_type 에 맞는 값을 뽑은 것입니다. 문구가 원문에 없거나 뽑을 값이 없으면 비웁니다."},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":["string","null"],"enum":["count","sum","avg","min","max",null]},"value":{}},"required":["field","value"]}},"summary":{"type":"string","description":"운영자가 승인·수정·거절을 고르기 전에 읽는 한 문장입니다."},"hedge":{"type":["string","null"]}},"required":["item_key","run_id","field_name","verdict","ai_value","source_value","evidence","summary"]}

[
  {
    "item_key": "R-20931:ceo_name",
    "run_id": "R-20931",
    "field_name": "ceo_name",
    "verdict": "원문과 맞음",
    "ai_value": "홍길동",
    "source_value": "홍길동",
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20931"
      },
      {
        "field": "evidence_page",
        "value": 1
      },
      {
        "field": "evidence_text",
        "value": "대표이사 홍길동"
      }
    ],
    "summary": "대표자명 홍길동은 1쪽 신청서의 '대표이사 홍길동' 과 같습니다.",
    "hedge": null
  },
  {
    "item_key": "R-20935:construction_capacity_krw",
    "run_id": "R-20935",
    "field_name": "construction_capacity_krw",
    "verdict": "원문과 맞음",
    "ai_value": "8450000000",
    "source_value": "8,450,000,000",
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20935"
      },
      {
        "field": "value",
        "value": "8450000000"
      },
      {
        "field": "evidence_text",
        "value": "시공능력평가액 : 8,450,000,000원"
      }
    ],
    "summary": "시공능력평가액 8450000000원은 3쪽 원문의 8,450,000,000원과 쉼표만 빼면 같습니다.",
    "hedge": null
  },
  {
    "item_key": "R-20931:biz_reg_no",
    "run_id": "R-20931",
    "field_name": "biz_reg_no",
    "verdict": "원문 값과 다름",
    "ai_value": "123-45-67819",
    "source_value": "123-45-67891",
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20931"
      },
      {
        "field": "value",
        "value": "123-45-67819"
      },
      {
        "field": "evidence_page",
        "value": 2
      },
      {
        "field": "evidence_text",
        "value": "등록번호 : 123-45-67891"
      }
    ],
    "summary": "AI 가 적은 사업자등록번호는 2쪽 원문과 끝 세 자리의 순서가 다릅니다. 원문은 123-45-67891 입니다.",
    "hedge": null
  },
  {
    "item_key": "R-20931:credit_grade",
    "run_id": "R-20931",
    "field_name": "credit_grade",
    "verdict": "근거 문구가 원문에 없음",
    "ai_value": "BBB+",
    "source_value": null,
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20931"
      },
      {
        "field": "evidence_page",
        "value": 4
      },
      {
        "field": "evidence_text",
        "value": "신용등급 : BBB+"
      },
      {
        "field": "doc_name",
        "value": "기업신용평가등급 확인서"
      }
    ],
    "summary": "AI 가 4쪽에서 인용했다는 '신용등급 : BBB+' 는 4쪽 신용평가등급 확인서에 없는 문구입니다.",
    "hedge": "4쪽에는 신용등급 BBB0 이 적혀 있어, 운영자가 그 줄을 보고 값을 고칠지 정합니다."
  },
  {
    "item_key": "R-20931:construction_capacity_krw",
    "run_id": "R-20931",
    "field_name": "construction_capacity_krw",
    "verdict": "형식이 규칙과 다름",
    "ai_value": "약 120억",
    "source_value": "12,034,500,000",
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20931"
      },
      {
        "field": "value",
        "value": "약 120억"
      },
      {
        "field": "pattern",
        "value": "^\\d+$"
      },
      {
        "field": "evidence_text",
        "value": "시공능력평가액 : 12,034,500,000원"
      }
    ],
    "summary": "시공능력평가액에 '약 120억' 이 들어가 원 단위 숫자 규칙에 맞지 않습니다. 3쪽 원문은 12,034,500,000원입니다.",
    "hedge": null
  },
  {
    "item_key": "R-20935:ceo_name",
    "run_id": "R-20935",
    "field_name": "ceo_name",
    "verdict": "필수 칸이 빔",
    "ai_value": null,
    "source_value": null,
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20935"
      },
      {
        "field": "required",
        "value": true
      },
      {
        "field": "field_name",
        "agg": "count",
        "value": 0
      }
    ],
    "summary": "필수 칸인 대표자명이 이번 실행 결과에 아예 없습니다.",
    "hedge": "AI Worker 가 칸 자체를 내지 않은 경우라 인용 문구도 없습니다. 1쪽 사업자등록증의 대표자 줄을 운영자가 직접 봐야 합니다."
  },
  {
    "item_key": "R-20940:company_name",
    "run_id": "R-20940",
    "field_name": "company_name",
    "verdict": "필수 칸이 빔",
    "ai_value": "",
    "source_value": null,
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20940"
      },
      {
        "field": "value",
        "value": ""
      },
      {
        "field": "evidence_page",
        "value": null
      },
      {
        "field": "required",
        "value": true
      }
    ],
    "summary": "필수 칸인 상호가 빈 값으로 들어왔습니다.",
    "hedge": "개인사업자 서류라 '법인명' 대신 '상호' 줄에 이름이 있어 AI Worker 가 놓친 것으로 보입니다."
  },
  {
    "item_key": "R-20940:credit_grade",
    "run_id": "R-20940",
    "field_name": "credit_grade",
    "verdict": "근거 문구가 원문에 없음",
    "ai_value": "B+",
    "source_value": null,
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20940"
      },
      {
        "field": "value",
        "value": "B+"
      },
      {
        "field": "evidence_page",
        "value": null
      },
      {
        "field": "evidence_text",
        "value": null
      }
    ],
    "summary": "신용평가등급 B+ 에 근거 쪽수와 인용 문구가 모두 비어 있습니다.",
    "hedge": "값 자체는 2쪽 확인서와 같아 보이지만, 근거를 대지 않은 값은 원문과 맞음으로 올리지 않습니다."
  },
  {
    "item_key": "R-20935:credit_valid_until",
    "run_id": "R-20935",
    "field_name": "credit_valid_until",
    "verdict": "근거 문구가 원문에 없음",
    "ai_value": "2027-02-02",
    "source_value": null,
    "evidence": [
      {
        "field": "run_id",
        "value": "R-20935"
      },
      {
        "field": "value",
        "value": "2027-02-02"
      },
      {
        "field": "evidence_page",
        "value": 1
      },
      {
        "field": "evidence_text",
        "value": "유효기간 : 2027-02-02"
      }
    ],
    "summary": "AI 가 1쪽에서 인용했다는 '유효기간 : 2027-02-02' 는 1쪽 사업자등록증에 없는 문구입니다.",
    "hedge": "같은 문구가 2쪽 신용평가등급 확인서에 있어 값은 맞고 쪽수만 틀린 칸으로 보입니다. 쪽을 넘어 찾지 않으므로 운영자가 2쪽을 보고 승인할지 정합니다."
  }
]

[자동 검증 · 코드가 판정합니다] 1. verdict 가 다섯 값 가운데 하나인지 확인합니다. 2. item_key·run_id·field_name·verdict·ai_value·source_value·evidence·summary 필드가 빠짐없이 존재하는지 확인합니다. 3. evidence_page 가 1 이상이고 그 run_id 의 source_pages.page 가운데 가장 큰 값 이하인지 확인합니다. 4. field_rules.required 가 참인 field_name 이 그 run_id 의 worker_outputs 에 없거나 value 가 빈 문자열이면 verdict 는 필수 칸이 빔입니다. 5. pattern 이 있는 칸의 value 가 그 정규식에 전체가 맞지 않으면 verdict 는 형식이 규칙과 다름입니다. 6. evidence_text 가 비었거나, 같은 run_id·evidence_page 의 source_pages.text 에 그대로 들어 있지 않으면 verdict 는 근거 문구가 원문에 없음입니다. 7. evidence_text 가 원문에 있으면 그 문구에서 source_value 를 뽑습니다. 문구에 ' : ' 가 있으면 그 뒤를, 없으면 마지막 어절을 뽑고, amount_krw 는 끝의 '원' 을 뗍니다. 이 source_value 가 value 와 다르면 verdict 는 원문 값과 다름입니다. biz_no·amount_krw·phone·date 는 숫자만 남겨 견주고, text·grade 는 NFKC 로 바꾼 뒤 견줘 ㈜ 와 (주) 를 같은 글자로 봅니다. 8. 4~7번이 둘 이상 걸리면 4, 5, 6, 7번 차례로 하나만 남기고, 하나도 안 걸리면 verdict 는 원문과 맞음입니다. 9. evidence 의 field 이름이 세 입력 표의 컬럼에 실재하는지 대조합니다. 10. agg 가 없는 evidence 의 value 가 수록된 행의 원문 값과 같은지, evidence_text 가 그 run_id 원문 페이지의 substring 인지 확인합니다. 11. summary 와 hedge 가 존댓말로 끝나는지 확인합니다. [평가 러너 · 2주차] 실행 결과 200칸에 손으로 정답 판정을 매겨 자동 판정과 대조하고, 판정별 일치율과 어긋난 칸 목록을 냅니다. [수동 검증 · 사람이 봅니다] 1. 근거 문구가 원문에 없음으로 나온 칸 가운데 값은 맞는데 쪽수만 틀린 경우가 몇 건인지 운영자가 세어, 쪽수를 넘어 전 페이지를 찾을지 정합니다. 2. 운영자가 한 칸을 보고 승인·수정·거절을 고르기까지 걸린 시간을 열 칸 재어 화면 배치를 고칩니다.