사진으로 찾아 준 상품이 정말 같은 물건인지 알려줍니다.

• 묶음 기준: verdict
• 한 행: 사유 라벨 · result_no + 한 줄 요약(근거 수치 포함)
• 근거 표는 행을 펼쳤을 때 보입니다 (`rank` / `similarity` / `category_code` 열)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 판정 일치 · 정답 240건 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 결과 파일을 올리기 전에는 샘플 데이터로 보기를 눌러 화면을 확인합니다.
• 열이 빠지거나 질의 번호가 비면 목록 대신 어느 줄이 왜 걸렸는지 이슈로 보여 주고 나머지 판정 묶음은 그대로 살아 있습니다.
• 라벨은 붙었는데 렌즈 결과가 한 줄도 없는 질의는 판정 묶음 위에 결과 없음 {n}건 줄로 따로 세우고, 펼치면 질의 번호가 나옵니다. 판정이 안 붙는 질의라 묶음 안에서는 보이지 않습니다.

{"type":"object","properties":{"verdict_no":{"type":"string"},"result_no":{"type":"string"},"query_id":{"type":"string"},"product_id":{"type":"string"},"verdict":{"type":"string","enum":["같은 물건","카테고리 어긋남","색이 다름","카탈로그에 없음","정답을 못 올림"]},"answer_rank":{"type":["integer","null"],"description":"그 질의의 lens_results 를 rank 오름차순으로 훑어 query_labels.true_product_id 와 같은 product_id 가 처음 나오는 rank 입니다. 올라온 결과 어디에도 없으면 비웁니다."},"answer_in_top5":{"type":"boolean","description":"answer_rank 가 1 이상 5 이하이면 참이고, 비었거나 6 이상이면 거짓입니다."},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":["string","null"]},"value":{}},"required":["field","value"]}},"summary":{"type":"string"},"hedge":{"type":["string","null"]}},"required":["verdict_no","result_no","query_id","product_id","verdict","answer_rank","answer_in_top5","evidence","summary"]}

[
  {
    "verdict_no": "VR-0001",
    "result_no": "LR-4821-01",
    "query_id": "Q-4821",
    "product_id": "P-51002",
    "verdict": "같은 물건",
    "answer_rank": 1,
    "answer_in_top5": true,
    "evidence": [
      {
        "field": "product_id",
        "value": "P-51002"
      },
      {
        "field": "true_product_id",
        "value": "P-51002"
      },
      {
        "field": "category_code",
        "value": "FURN-SOFA"
      },
      {
        "field": "similarity",
        "value": 0.91
      }
    ],
    "summary": "첫 자리에 올라온 린넨 3인 소파가 정답 상품 그대로입니다.",
    "hedge": null
  },
  {
    "verdict_no": "VR-0002",
    "result_no": "LR-4821-02",
    "query_id": "Q-4821",
    "product_id": "P-51033",
    "verdict": "색이 다름",
    "answer_rank": 1,
    "answer_in_top5": true,
    "evidence": [
      {
        "field": "product_id",
        "value": "P-51033"
      },
      {
        "field": "true_product_id",
        "value": "P-51002"
      },
      {
        "field": "category_code",
        "value": "FURN-SOFA"
      },
      {
        "field": "color",
        "value": "차콜"
      },
      {
        "field": "color",
        "value": "아이보리"
      }
    ],
    "summary": "같은 소파인데 차콜이 올라와 정답 상품의 아이보리와 색이 다릅니다.",
    "hedge": null
  },
  {
    "verdict_no": "VR-0003",
    "result_no": "LR-4821-03",
    "query_id": "Q-4821",
    "product_id": "P-51078",
    "verdict": "카테고리 어긋남",
    "answer_rank": 1,
    "answer_in_top5": true,
    "evidence": [
      {
        "field": "product_id",
        "value": "P-51078"
      },
      {
        "field": "category_code",
        "value": "FURN-TABLE"
      },
      {
        "field": "true_category_code",
        "value": "FURN-SOFA"
      },
      {
        "field": "detected_category",
        "value": "FURN-SOFA"
      }
    ],
    "summary": "라벨은 소파인데 원목 사이드테이블이 셋째 자리에 올라왔습니다.",
    "hedge": "렌즈가 사진 조각을 소파로 봤다고 남긴 값이라 자른 영역이 소파 팔걸이였을 가능성이 있습니다."
  },
  {
    "verdict_no": "VR-0004",
    "result_no": "LR-4907-01",
    "query_id": "Q-4907",
    "product_id": "P-51204",
    "verdict": "정답을 못 올림",
    "answer_rank": 12,
    "answer_in_top5": false,
    "evidence": [
      {
        "field": "true_product_id",
        "value": "P-51188"
      },
      {
        "field": "rank",
        "value": 12
      },
      {
        "field": "product_id",
        "value": "P-51204"
      },
      {
        "field": "similarity",
        "value": 0.86
      }
    ],
    "summary": "정답 주전자는 열두 번째에야 올라오고 첫 자리는 커피메이커가 차지했습니다.",
    "hedge": null
  },
  {
    "verdict_no": "VR-0005",
    "result_no": "LR-5033-02",
    "query_id": "Q-5033",
    "product_id": "P-51071",
    "verdict": "같은 물건",
    "answer_rank": 1,
    "answer_in_top5": true,
    "evidence": [
      {
        "field": "product_id",
        "value": "P-51071"
      },
      {
        "field": "category_code",
        "value": "FURN-SOFA"
      },
      {
        "field": "true_category_code",
        "value": "FURN-SOFA"
      },
      {
        "field": "color",
        "value": null
      },
      {
        "field": "detected_category",
        "value": null
      }
    ],
    "summary": "정답과 같은 소파군이라 둘째 자리 결과를 그대로 둡니다.",
    "hedge": "카탈로그의 색 값이 비어 있어 색 비교를 하지 않았고, 렌즈도 카테고리를 남기지 못해 근거가 한 칸 모자랍니다."
  },
  {
    "verdict_no": "VR-0006",
    "result_no": "LR-5033-03",
    "query_id": "Q-5033",
    "product_id": "P-59901",
    "verdict": "카탈로그에 없음",
    "answer_rank": 1,
    "answer_in_top5": true,
    "evidence": [
      {
        "field": "product_id",
        "value": "P-59901"
      },
      {
        "field": "detected_category",
        "value": "FURN-CHAIR"
      },
      {
        "field": "similarity",
        "value": 0.79
      }
    ],
    "summary": "셋째 자리 상품 번호가 지금 카탈로그에 서 있지 않아 속성을 견줄 수 없습니다.",
    "hedge": "내린 상품이 색인에 남아 있을 때 이렇게 걸리므로 색인을 다시 만든 뒤 같은 번호가 또 나오는지 봐야 합니다."
  }
]

[자동 검증 · 코드가 판정합니다] 1. verdict 가 다섯 값 중 하나인지 확인합니다. 규칙이 정한 값이라 모델이 새 값을 지어내면 그 응답을 버립니다. 2. verdict_no·result_no·query_id·verdict·answer_rank·answer_in_top5·evidence·summary 필드가 빠짐없이 존재하는지 확인합니다. 3. similarity 가 0 이상 1 이하 범위 안인지 확인합니다. 4. 카테고리 어긋남은 그 결과의 product_id 로 찾은 product_catalog.category_code 를 query_labels.true_category_code 와 견줘 다른지 다시 계산합니다. 5. 색이 다름은 category_code 가 같은 상태에서 product_catalog.color 를 정답 상품의 color 와 견줘 다른지 다시 계산합니다. 다만 두 색 중 하나가 비어 있으면 색 비교를 건너뛰고 그 사실을 hedge 에 남깁니다. 6. 카탈로그에 없음은 그 product_id 가 product_catalog.product_id 어디에도 없는지 다시 계산합니다. 7. 정답을 못 올림은 rank 1 결과에서 query_labels.true_product_id 가 그 질의의 rank 1~5 product_id 안에 없는지 다시 계산하고, answer_rank 가 정답 상품이 처음 나온 rank 와 같은지 함께 셉니다. 8. evidence 의 field 이름이 입력에 있는 컬럼인지 대조합니다. 없는 이름을 인용하면 요약이 지어낸 문장이라는 뜻이라 규칙이 만든 기본 문장으로 되돌립니다. 9. evidence 의 value 가 수록된 행의 원문 값과 같은지 확인합니다. 10. summary 가 존댓말 한 문장으로 끝나는지 확인합니다. 11. query_labels 에 있는데 lens_results 에 결과가 한 줄도 없는 질의를 셉니다. 이런 질의는 판정할 결과 행이 없어 verdict 가 하나도 안 만들어지므로 판정 묶음에서는 보이지 않습니다. 질의 번호를 따로 모아 화면 위쪽에 결과 없음 줄로 세워, 검색이 아예 안 돈 질의가 목록에서 사라지지 않게 합니다. 샘플에서는 Q-5266·Q-5310·Q-5348·Q-5417 네 건이 여기 해당하고, 결과가 실린 여섯 질의는 해당하지 않습니다. [평가 러너 · 2주차] 손으로 매긴 정답 판정 240건과 자동 판정을 대조해 판정별 일치율을 내고, 어긋난 결과는 따로 모아 판정 차례를 손볼지 정합니다. 상위 몇 자리까지 볼지를 5와 10으로 바꿔 정답을 못 올린 질의 수가 어떻게 달라지는지도 이 러너에서 잽니다. [수동 검증 · 사람이 봅니다] 1. 색이 다름으로 걸린 결과 20건을 열어 사람 눈에도 다른 색인지 봅니다. 2. 카테고리 어긋남 중에 사용자가 그래도 받아들일 결과가 있는지 판단해 판정 차례를 다시 봅니다.