솔라피톡 AI가 상담원에게 넘겼어야 할 문의를 알려줍니다.

• 묶음 기준: verdict
• 한 행: 사유 라벨 · room_id + 한 줄 요약(근거 수치 포함)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 판정 일치 · 정답 200대화 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 대화 파일을 올리기 전에는 모아리빙 예시 하루치가 보드에 깔려 있어 열마다 어떤 대화가 서는지 미리 봅니다.
• sent_at 이 빠졌거나 room_id 가 빈 메시지 줄은 판정에서 빼고 어느 줄이 왜 빠졌는지 보드 위에 띄우며, 그 줄이 속한 대화만 판정 보류 열로 옮기고 나머지 대화는 그대로 보여줍니다.

{"type":"object","properties":{"room_id":{"type":"string"},"customer_id":{"type":"string"},"verdict":{"type":"string","enum":["AI 응대로 끝남","상담원 요청을 AI가 계속 받음","도움말에 없는 답변","같은 문의가 다시 들어옴","넘긴 뒤 상담원 응답이 늦음"]},"first_trigger_message_id":{"type":["string","null"],"description":"고객 메시지 중 띄어쓰기를 지운 text 에 띄어쓰기를 지운 trigger_phrase 가 처음 들어 있는 메시지입니다."},"matched_phrase":{"type":["string","null"]},"ai_after_trigger":{"type":"integer","minimum":0,"description":"first_trigger_message_id 뒤 같은 room_id 에서 sender 가 ai 인 메시지 수입니다."},"counselor_message_count":{"type":"integer","minimum":0},"uncited_message_ids":{"type":"array","items":{"type":"string"},"description":"cited_article_id 가 null 이거나 help_articles 에 없는 AI 답변 메시지입니다."},"handoff_at":{"type":["string","null"]},"first_counselor_at":{"type":["string","null"]},"reply_wait_min":{"type":["number","null"],"minimum":0,"description":"first_counselor_at 에서 handoff_at 을 뺀 분입니다."},"first_reply_min":{"type":["integer","null"],"minimum":1},"closed_at":{"type":["string","null"],"description":"AI 가 닫은 대화의 마지막 sent_at 입니다."},"next_room_id":{"type":["string","null"]},"reentry_hours":{"type":["number","null"],"minimum":0,"description":"next_room_id 의 첫 sent_at 에서 closed_at 을 뺀 시간을 소수 둘째 자리로 반올림한 값입니다."},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":["string","null"]},"value":{}},"required":["field","value"]}},"summary":{"type":"string"},"hedge":{"type":["string","null"]}},"required":["room_id","customer_id","verdict","ai_after_trigger","counselor_message_count","uncited_message_ids","evidence","summary"]}

[
  {
    "room_id": "R-55102",
    "customer_id": "C-3011",
    "verdict": "상담원 요청을 AI가 계속 받음",
    "first_trigger_message_id": "M-901003",
    "matched_phrase": "직원 연결",
    "ai_after_trigger": 3,
    "counselor_message_count": 0,
    "uncited_message_ids": [
      "M-901006"
    ],
    "handoff_at": null,
    "first_counselor_at": null,
    "reply_wait_min": null,
    "first_reply_min": null,
    "closed_at": null,
    "next_room_id": null,
    "reentry_hours": null,
    "evidence": [
      {
        "field": "text",
        "value": "직원연결 해주세요"
      },
      {
        "field": "trigger_phrase",
        "value": "직원 연결"
      },
      {
        "field": "sender",
        "agg": "count",
        "value": 3
      },
      {
        "field": "cited_article_id",
        "value": null
      }
    ],
    "summary": "고객이 '직원연결 해주세요' 로 상담원을 찾은 뒤에도 AI 가 세 번 더 답했고 상담원은 들어오지 않았습니다.",
    "hedge": "띄어쓰기를 지우지 않고 찾으면 첫 요청이 '상담원 연결이요' 로 밀리지만, 그 뒤 AI 답변도 두 번이라 판정은 같습니다. 인용 없는 답 M-901006 도 있지만 상담원 요청 무시가 먼저입니다."
  },
  {
    "room_id": "R-55131",
    "customer_id": "C-3027",
    "verdict": "도움말에 없는 답변",
    "first_trigger_message_id": null,
    "matched_phrase": null,
    "ai_after_trigger": 0,
    "counselor_message_count": 0,
    "uncited_message_ids": [
      "M-901012"
    ],
    "handoff_at": null,
    "first_counselor_at": null,
    "reply_wait_min": null,
    "first_reply_min": null,
    "closed_at": "2026-10-01T11:31:10+09:00",
    "next_room_id": null,
    "reentry_hours": null,
    "evidence": [
      {
        "field": "message_id",
        "value": "M-901012"
      },
      {
        "field": "cited_article_id",
        "value": null
      },
      {
        "field": "text",
        "value": "네, 반품이 완료되면 7일 안에 관부가세 전액이 자동으로 환급됩니다."
      }
    ],
    "summary": "AI 가 관부가세 환급 기한을 7일이라고 답했는데 인용한 도움말이 없습니다.",
    "hedge": "고객이 쓴 '환급' 은 연결 문구 '환불' 과 한 글자 다른 낱말이라 상담원 연결 대상이 아니었습니다. 환급 문의를 연결 대상에 넣을지는 고객사가 규칙표에 문구를 더해 정합니다."
  },
  {
    "room_id": "R-55165",
    "customer_id": "C-3131",
    "verdict": "도움말에 없는 답변",
    "first_trigger_message_id": null,
    "matched_phrase": null,
    "ai_after_trigger": 0,
    "counselor_message_count": 0,
    "uncited_message_ids": [
      "M-901082"
    ],
    "handoff_at": null,
    "first_counselor_at": null,
    "reply_wait_min": null,
    "first_reply_min": null,
    "closed_at": "2026-10-01T12:47:00+09:00",
    "next_room_id": null,
    "reentry_hours": null,
    "evidence": [
      {
        "field": "cited_article_id",
        "value": "A-099"
      },
      {
        "field": "article_id",
        "agg": "count",
        "value": 10
      }
    ],
    "summary": "AI 가 적립금 유효기간을 답하면서 인용한 A-099 가 지금 도움말 목록 10편 안에 없습니다.",
    "hedge": "9월에 새로 쓴 A-107 적립금 사용 안내의 옛 번호로 보입니다. 기간이 바뀌었는지는 상담원이 A-107 을 열어 확인합니다."
  },
  {
    "room_id": "R-55140",
    "customer_id": "C-3044",
    "verdict": "같은 문의가 다시 들어옴",
    "first_trigger_message_id": null,
    "matched_phrase": null,
    "ai_after_trigger": 0,
    "counselor_message_count": 0,
    "uncited_message_ids": [],
    "handoff_at": null,
    "first_counselor_at": null,
    "reply_wait_min": null,
    "first_reply_min": null,
    "closed_at": "2026-10-01T14:02:00+09:00",
    "next_room_id": "R-55188",
    "reentry_hours": 1.75,
    "evidence": [
      {
        "field": "sent_at",
        "value": "2026-10-01T14:02:00+09:00"
      },
      {
        "field": "sent_at",
        "value": "2026-10-01T15:47:00+09:00"
      },
      {
        "field": "room_id",
        "value": "R-55188"
      },
      {
        "field": "customer_id",
        "value": "C-3044"
      }
    ],
    "summary": "AI 가 교환 배송비를 답하고 닫은 지 1시간 45분 만에 같은 고객이 '아까 교환 배송비 물어봤는데' 로 새 대화를 열었습니다.",
    "hedge": "새 대화 R-55188 은 7분 30초 만에 상담원이 받아 그 대화 자체는 목록에 올리지 않습니다."
  },
  {
    "room_id": "R-55177",
    "customer_id": "C-3090",
    "verdict": "넘긴 뒤 상담원 응답이 늦음",
    "first_trigger_message_id": "M-901071",
    "matched_phrase": "상담사",
    "ai_after_trigger": 0,
    "counselor_message_count": 1,
    "uncited_message_ids": [],
    "handoff_at": "2026-10-01T11:05:00+09:00",
    "first_counselor_at": "2026-10-01T11:41:00+09:00",
    "reply_wait_min": 36,
    "first_reply_min": 15,
    "closed_at": null,
    "next_room_id": null,
    "reentry_hours": null,
    "evidence": [
      {
        "field": "sent_at",
        "value": "2026-10-01T11:05:00+09:00"
      },
      {
        "field": "sent_at",
        "value": "2026-10-01T11:41:00+09:00"
      },
      {
        "field": "first_reply_min",
        "value": 15
      },
      {
        "field": "trigger_phrase",
        "value": "상담사"
      }
    ],
    "summary": "교환 접수로 상담사를 찾은 고객이 상담원에게 넘어간 뒤 첫 응답까지 36분을 기다려 기준 15분을 넘었습니다.",
    "hedge": null
  },
  {
    "room_id": "R-55150",
    "customer_id": "C-3102",
    "verdict": "AI 응대로 끝남",
    "first_trigger_message_id": null,
    "matched_phrase": null,
    "ai_after_trigger": 0,
    "counselor_message_count": 0,
    "uncited_message_ids": [],
    "handoff_at": null,
    "first_counselor_at": null,
    "reply_wait_min": null,
    "first_reply_min": null,
    "closed_at": "2026-10-01T16:20:18+09:00",
    "next_room_id": null,
    "reentry_hours": null,
    "evidence": [
      {
        "field": "cited_article_id",
        "value": "A-105"
      },
      {
        "field": "text",
        "value": "대화가 종료되었습니다"
      }
    ],
    "summary": "AI 가 주말 배송 도움말을 인용해 답하고 대화를 닫았으며 고객은 다시 문의하지 않았습니다.",
    "hedge": null
  },
  {
    "room_id": "R-55160",
    "customer_id": "C-3115",
    "verdict": "AI 응대로 끝남",
    "first_trigger_message_id": null,
    "matched_phrase": null,
    "ai_after_trigger": 0,
    "counselor_message_count": 0,
    "uncited_message_ids": [],
    "handoff_at": null,
    "first_counselor_at": null,
    "reply_wait_min": null,
    "first_reply_min": null,
    "closed_at": "2026-10-01T09:20:00+09:00",
    "next_room_id": "R-55199",
    "reentry_hours": 25.08,
    "evidence": [
      {
        "field": "cited_article_id",
        "value": "A-103"
      },
      {
        "field": "sent_at",
        "value": "2026-10-01T09:20:00+09:00"
      },
      {
        "field": "sent_at",
        "value": "2026-10-02T10:25:00+09:00"
      }
    ],
    "summary": "AI 가 반품 신청 방법을 답하고 닫았고, 같은 고객은 25시간 넘게 지나 수거 일정을 물으러 왔습니다.",
    "hedge": "다음 대화가 24시간을 1시간 5분 넘겨 열려 재문의로 세지 않았습니다. 묻는 내용도 신청 방법이 아니라 수거 일정이라 다른 문의입니다."
  }
]

[자동 검증 · 코드가 판정합니다] 1. verdict 가 AI 응대로 끝남·상담원 요청을 AI가 계속 받음·도움말에 없는 답변·같은 문의가 다시 들어옴·넘긴 뒤 상담원 응답이 늦음 다섯 값 중 하나인지 확인합니다. 2. room_id·customer_id·verdict·ai_after_trigger·counselor_message_count·uncited_message_ids·evidence·summary 필드가 빠짐없이 존재하는지 확인합니다. 3. ai_after_trigger·counselor_message_count 가 0 이상이고 reply_wait_min·reentry_hours 가 0 이상인지 확인합니다. 4. reply_wait_min 을 first_counselor_at − handoff_at(분)으로, reentry_hours 를 next_room_id 첫 sent_at − closed_at(시간)으로 다시 계산합니다. 5. first_trigger_message_id 가 있고 counselor_message_count 가 0 이며 ai_after_trigger 가 2 이상이면 verdict 는 상담원 요청을 AI가 계속 받음입니다. 6. 앞 조건에 걸리지 않고 uncited_message_ids 가 하나라도 있으면 verdict 는 도움말에 없는 답변입니다. 7. 앞 조건에 걸리지 않고 reentry_hours 가 24 이하이면 verdict 는 같은 문의가 다시 들어옴입니다. 8. 앞 조건에 걸리지 않고 reply_wait_min 이 first_reply_min 을 넘으면 verdict 는 넘긴 뒤 상담원 응답이 늦음입니다. 어느 조건에도 걸리지 않고 AI 가 닫은 대화면 verdict 는 AI 응대로 끝남입니다. 9. evidence 의 field 이름이 네 데이터셋 중 하나에 있는 컬럼인지 대조합니다. 10. evidence 의 value 가 수록된 행의 원문 값과 같은지 확인합니다. 여러 줄을 센 수는 agg 를 적습니다. 11. summary 가 존댓말로 끝나는지 확인합니다. [판정 대상 · 무엇을 목록에 올리는가] 10월 1일에 열린 대화 중 AI 가 한 번이라도 답했거나 상담원 연결이 늦은 대화만 판정합니다. 연결 기준 시간 안에 상담원이 받은 R-55188 은 상담원이 이미 응대한 대화라 목록에 올리지 않고 화면 위 집계의 제때 연결로만 셉니다. 10월 2일에 열린 R-55199 는 판정 대상이 아니라 R-55160 의 재문의를 확인하는 데만 씁니다. [판정 차례 · 위 규칙이 둘 이상 걸릴 때] 대화 하나에는 판정을 하나만 남깁니다. ① 상담원 요청을 AI가 계속 받음 → ② 도움말에 없는 답변 → ③ 같은 문의가 다시 들어옴 → ④ 넘긴 뒤 상담원 응답이 늦음 → ⑤ AI 응대로 끝남. [하드 케이스 · 판정이 갈리는 이유] R-55102 의 '직원연결 해주세요' 는 규칙표의 '직원 연결' 과 띄어쓰기만 달라, 양쪽 띄어쓰기를 지운 뒤 찾아야 첫 요청으로 잡힙니다. M-901006 처럼 cited_article_id 가 null 인 답과 R-55165 의 A-099 처럼 도움말 목록 10편에 없는 번호는 모두 인용 없는 답으로 셉니다. R-55160 의 고객은 25.08시간 뒤에 돌아와 24시간 창 밖이라 재문의가 아닙니다. R-55131 의 고객 메시지 '관부가세 환급도 되나요' 는 연결 문구 '환불' 과 다른 낱말이라 연결 요청이 아닙니다. 고객 메시지 하나에 연결 문구가 둘 이상 걸리면 first_reply_min 이 가장 짧은 문구를 matched_phrase 로 씁니다. 더미에는 그런 메시지가 없고, 증강 데이터의 하드 케이스가 만듭니다. [평가 러너 · 2주차] 더미 대화 200건에 손으로 매긴 정답 판정과 자동 판정을 대조해 판정별 일치율을 내고, 어긋난 대화는 따로 모아 연결 문구 목록과 판정 차례를 다시 봅니다. [수동 검증 · 사람이 봅니다] 1. 인용이 있는 AI 답이 그 도움말 내용과 맞는지는 상담원이 봅니다. 2. 연결 문구에 걸린 메시지가 실제로 상담원을 원한 것인지는 상담 매니저가 펼쳐 보고 정합니다.