사용자가 한 번에 못 끝내고 다시 시도한 지점을 접점별로 보여줍니다

• 묶음 기준: verdict
• 한 행: 사유 라벨 · event_id + 한 줄 요약(근거 수치 포함)
• 근거 표는 행을 펼쳤을 때 보입니다 (`field` / `value` / `reason` 열)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 다시 시도 판정 일치 · 정답 14건 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 파일을 올리기 전에는 샘플 데이터로 보기로 화면을 확인합니다.
• 열이 빠지거나 입력 문장이 비면 목록 대신 어느 줄이 왜 걸렸는지 보여 주고 화면은 살아 있습니다.

{"type":"object","properties":{"event_id":{"type":"string"},"session_id":{"type":"string"},"surface_key":{"type":"string"},"verdict":{"type":"string","enum":["one_shot","exact_retry","reworded_retry","surface_hop"]},"surface_baseline":{"type":"number","description":"그 surface_key 에서 서로 다른 session_id 끼리 input_text 낱말이 겹치는 정도를 모두 구해 얻은 가운데값입니다"},"max_overlap":{"type":["number","null"],"description":"같은 session_id 와 surface_key 안 앞선 input_text 와 낱말이 겹치는 정도 중 가장 큰 값입니다"},"matched_event_id":{"type":["string","null"]},"reason":{"type":"string"},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":"string"},"value":{}},"required":["field","value"]}}},"required":["event_id","session_id","surface_key","verdict","surface_baseline","max_overlap","evidence"]}

[
  {
    "event_id": "EV-0101",
    "session_id": "a41c",
    "surface_key": "summarize",
    "verdict": "one_shot",
    "surface_baseline": 0.33,
    "max_overlap": null,
    "matched_event_id": null,
    "reason": "세션에서 처음 보낸 말이라 앞서 견줄 것이 없고, 결과를 받고 끝났습니다.",
    "evidence": [
      {
        "field": "input_text",
        "value": "이거 요약해줘"
      },
      {
        "field": "surface_key_raw",
        "value": "summarize"
      }
    ]
  },
  {
    "event_id": "EV-0102",
    "session_id": "a41c",
    "surface_key": "summarize",
    "verdict": "exact_retry",
    "surface_baseline": 0.33,
    "max_overlap": 1,
    "matched_event_id": "EV-0101",
    "reason": "느낌표만 붙었을 뿐 공백과 문장부호를 지우면 앞서 보낸 말과 같아, 같은 말을 다시 보낸 것으로 봅니다.",
    "evidence": [
      {
        "field": "input_text",
        "value": "이거 요약해줘!"
      },
      {
        "field": "surface_key_raw",
        "value": "summarize"
      },
      {
        "field": "input_text",
        "value": "이거 요약해줘"
      }
    ]
  },
  {
    "event_id": "EV-0202",
    "session_id": "b70d",
    "surface_key": "summarize",
    "verdict": "reworded_retry",
    "surface_baseline": 0.33,
    "max_overlap": 0.67,
    "matched_event_id": "EV-0201",
    "reason": "앞서 보낸 말과 낱말이 겹치는 정도가 이 접점의 평소 겹침을 넘어, 말을 바꿔 다시 시도한 것으로 봅니다.",
    "evidence": [
      {
        "field": "input_text",
        "value": "더 짧게 요약해줘"
      },
      {
        "field": "surface_key_raw",
        "value": "summarize"
      },
      {
        "field": "input_text",
        "value": "짧게 요약해줘"
      }
    ]
  },
  {
    "event_id": "EV-0303",
    "session_id": "c19f",
    "surface_key": "translate",
    "verdict": "surface_hop",
    "surface_baseline": 0.25,
    "max_overlap": null,
    "matched_event_id": "EV-0301",
    "reason": "한 세션에서 업로드와 요약과 번역 세 접점을 오갔고 같은 문서를 가리키는 말이 이어져, 접점 사이를 돌아다닌 것으로 봅니다.",
    "evidence": [
      {
        "field": "input_text",
        "value": "계약서 번역"
      },
      {
        "field": "surface_key_raw",
        "value": "translate"
      },
      {
        "field": "input_text",
        "value": "계약서 올림"
      }
    ]
  },
  {
    "event_id": "EV-0602",
    "session_id": "f45c",
    "surface_key": "summarize",
    "verdict": "one_shot",
    "surface_baseline": 0.33,
    "max_overlap": 0.33,
    "matched_event_id": "EV-0601",
    "reason": "앞서 보낸 말과 겹치는 정도가 이 접점의 평소 겹침과 같아 다시 시도로 보지 않습니다. 평소만큼만 겹친 것이라 새 요청으로 셉니다.",
    "evidence": [
      {
        "field": "input_text",
        "value": "요약해줘 다시"
      },
      {
        "field": "surface_key_raw",
        "value": "summarize"
      },
      {
        "field": "input_text",
        "value": "보고서 요약해줘"
      }
    ]
  },
  {
    "event_id": "EV-0701",
    "session_id": "g88e",
    "surface_key": "chat",
    "verdict": "one_shot",
    "surface_baseline": 0,
    "max_overlap": null,
    "matched_event_id": null,
    "reason": "결과가 떴는지 기록이 비어 있지만 다시 시도 판정에는 쓰이지 않아, 앞서 견줄 말이 없는 첫 요청 그대로 봅니다.",
    "evidence": [
      {
        "field": "input_text",
        "value": "이 표 뭐야"
      },
      {
        "field": "surface_key_raw",
        "value": "chat"
      }
    ]
  },
  {
    "event_id": "EV-0802",
    "session_id": "h20a",
    "surface_key": "summarize",
    "verdict": "reworded_retry",
    "surface_baseline": 0.33,
    "max_overlap": 0.67,
    "matched_event_id": "EV-0801",
    "reason": "접점 표기에 붙은 대문자와 공백을 정리해 같은 접점으로 묶었고, 앞서 보낸 말과 겹치는 정도가 평소 겹침을 넘습니다.",
    "evidence": [
      {
        "field": "input_text",
        "value": "회의록 요약해줘 다시"
      },
      {
        "field": "surface_key_raw",
        "value": "summarize"
      },
      {
        "field": "input_text",
        "value": "회의록 요약해줘"
      }
    ]
  }
]

[자동 검증 · 형식과 재계산] 1. verdict 는 one_shot, exact_retry, reworded_retry, surface_hop 네 값 안에 있습니다. 2. event_id, session_id, surface_key, verdict, surface_baseline, max_overlap, evidence 일곱 필드가 모두 있습니다. 3. surface_key 는 surface_key_raw 의 앞뒤 공백을 지우고 소문자로 바꾼 값이고 surface_catalog 에 있습니다. 4. surface_baseline 은 그 접점에서 서로 다른 session_id 끼리 낱말이 겹치는 정도를 모두 구해 얻은 가운데값입니다. 5. max_overlap 은 같은 세션과 접점 안 앞선 말과 겹치는 정도 중 가장 큰 값이고, 앞선 말이 없으면 비어 있습니다. 6. surface_baseline 과 max_overlap 은 0 이상 1 이하입니다. 7. evidence 의 field 값은 interaction_events 또는 surface_catalog 에 실재하는 컬럼명입니다. 8. evidence 의 value 는 두 표의 수록된 행에 있는 값 그대로입니다. 9. verdict 가 exact_retry 이면 공백과 문장부호를 지운 input_text 가 앞선 것과 같습니다. 10. verdict 가 reworded_retry 이면 max_overlap 이 surface_baseline 을 넘습니다. 11. verdict 가 surface_hop 이면 그 세션의 서로 다른 surface_key 가 셋 이상이고 다른 접점의 말과 낱말이 겹칩니다. 12. 모든 한국어 문장은 존댓말로 끝납니다. [정상으로 처리한 하드 케이스] 1. EV-0602 는 앞선 말과 겹치는 정도가 요약 접점의 평소 겹침과 정확히 같아 넘지 않으므로 다시 시도가 아닙니다. 2. EV-0701 은 결과가 떴는지 기록이 비어 있지만 판정에 쓰이지 않아 첫 요청 그대로 남습니다. [평가 러너 · 2주차] 1. 제품 담당자가 표시한 실제 재시도와 대조해 판정별 어긋남 수를 냅니다. 2. 접점별 기준선을 올리고 내려 가며 다시 시도로 잡히는 건수가 어떻게 달라지는지 견줍니다.