고객 요청을 엔지니어링에 넘기는 컨설턴트에게 요청 시트에서 빠진 정보와 물어볼 확인 질문을 보여주는 CLI입니다

{"type":"object","properties":{"req_id":{"type":"string"},"firm_id":{"type":["string","null"]},"status":{"type":"string","enum":["ready_for_handoff","needs_client_answer","duplicate","compliance_hold"]},"gaps":{"type":"array","items":{"type":"string","enum":["missing_area","missing_repro","missing_expected","missing_source_window","unmapped_requester","compliance_unchecked"]}},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"quote":{"type":"string"}},"required":["field","quote"]}},"questions":{"type":"array","items":{"type":"string"}},"duplicate_of":{"type":["string","null"]},"hedge":{"type":["string","null"]}},"required":["req_id","firm_id","status","gaps","evidence","questions","duplicate_of","hedge"]}

[
  {
    "input_ref": "req_004 (버그인데 재현 조건 없음)",
    "output": {
      "req_id": "req_004",
      "firm_id": "firm_lioncity",
      "status": "needs_client_answer",
      "gaps": [
        "missing_repro"
      ],
      "evidence": [
        {
          "field": "repro_raw",
          "quote": ""
        },
        {
          "field": "body",
          "quote": "질의 결과가 가끔 비어서 옵니다."
        }
      ],
      "questions": [
        "결과가 비어서 온 질의를 하나만 알려 주실 수 있을까요. 질의 문구와 실행한 날짜·시각(현지 기준)이면 충분합니다.",
        "같은 질의를 다시 실행하면 항상 비어서 오는지, 가끔만 그런지 알려 주시면 좋겠습니다."
      ],
      "duplicate_of": null,
      "hedge": "재현 조건이 없어 엔지니어링 인계를 보류합니다"
    }
  },
  {
    "input_ref": "req_003 (커버리지 요청인데 소스·기간 없음)",
    "output": {
      "req_id": "req_003",
      "firm_id": "firm_nomura",
      "status": "needs_client_answer",
      "gaps": [
        "missing_source_window"
      ],
      "evidence": [
        {
          "field": "body",
          "quote": "일본 중소형주 커버리지가 부족합니다."
        },
        {
          "field": "expected_raw",
          "quote": ""
        }
      ],
      "questions": [
        "어떤 데이터 소스 기준으로 부족하다고 보셨는지 알려 주실 수 있을까요(Bloomberg·Refinitiv·FactSet·S&P Global 중).",
        "필요한 기간이 언제부터 언제까지인지, 우선 확인하고 싶은 종목 코드가 있다면 함께 알려 주시면 좋겠습니다."
      ],
      "duplicate_of": null,
      "hedge": "소스와 기간이 없으면 커버리지 범위를 산정하지 못합니다"
    }
  },
  {
    "input_ref": "req_005 (보유 종목이 본문에 포함)",
    "output": {
      "req_id": "req_005",
      "firm_id": "firm_hanriver",
      "status": "compliance_hold",
      "gaps": [
        "compliance_unchecked"
      ],
      "evidence": [
        {
          "field": "contains_holdings",
          "quote": "true"
        },
        {
          "field": "body",
          "quote": "목록은 첨부한 포지션 파일에 있습니다."
        }
      ],
      "questions": [
        "첨부하신 포지션 파일을 저희 엔지니어링팀과 공유해도 되는지 확인 부탁드립니다.",
        "공유가 어렵다면 종목명을 가린 형태로 같은 정렬 기능을 검토해도 될지 알려 주시면 좋겠습니다."
      ],
      "duplicate_of": null,
      "hedge": "반출 승인 표기가 없어 본문을 그대로 옮기지 않고 가린 채 보류합니다"
    }
  }
]

[자동 검증] 1. JSON Schema parse 로 출력 형식(필드·enum)이 스키마를 통과하는지 확인합니다. 2. status·gaps 가 결손 판정 규칙(계정 미매핑→needs_client_answer·반출 승인 없음→compliance_hold·선행 요청 일치→duplicate·필수 항목 결손→needs_client_answer·그 외→ready_for_handoff)과 일치하는지 봅니다. 3. evidence 의 field·quote 가 입력 요청 행의 실제 필드·값 인용인지 토큰 매칭으로 확인하고, 인용을 못 다는 질문은 걸러 냅니다. 4. 요청 한 건당 questions 가 3개를 넘지 않는지, ready_for_handoff 인데 questions 가 남아 있지 않은지 봅니다. 5. gaps 를 심은 정답 label 과 비교해 정확도를 계산합니다. [수동 검증] 1. 상담사 2명이 비동기로 결손 유형을 라벨링해 정확도와 bootstrap Cohen's κ(두 사람 일치가 우연 이상인 정도, 0~1) 하한 0.6 이상을 봅니다. 2. 만들어진 확인 질문을 사람이 읽고 고객에게 그대로 보낼 만한 문장인지 검수하며, 전체의 5% 를 직접 점검합니다.