연동 담당자에게 고객사 요건서에서 무엇을 되물어야 하는지 짚어 확인 질문지 파일로 내주는 CLI입니다

{"type":"object","properties":{"gap_id":{"type":"string"},"gap_type":{"type":"string","enum":["action_missing","channel_unmapped","conflict","unverifiable","uncovered_pattern"]},"requirement_refs":{"type":"array","items":{"type":"string"}},"question":{"type":"string","minLength":15},"options":{"type":"array","items":{"type":"string"}},"requirement_quote":{"type":["string","null"]},"log_evidence":{"type":["string","null"]},"affected_logs":{"type":"integer"},"blocking":{"type":"boolean"},"hedge":{"type":["string","null"]}},"required":["gap_id","gap_type","requirement_refs","question","options","requirement_quote","log_evidence","affected_logs","blocking","hedge"]}

[
  {
    "input_ref": "REQ-02 (조치 열이 비어 있음)",
    "output": {
      "gap_id": "G-001",
      "gap_type": "action_missing",
      "requirement_refs": [
        "REQ-02"
      ],
      "question": "휴대전화번호가 들어간 응답에 어떤 조치를 적용할까요. 로그 500건 중 37건이 여기 걸립니다.",
      "options": [
        "전체 차단",
        "뒷자리만 가리고 통과",
        "사람 검토로 넘김"
      ],
      "requirement_quote": "휴대전화번호가 포함된 응답은 담당 부서 지침에 따라 처리한다.",
      "log_evidence": "담당자 연락처는 010-1234-5678 이니 참고하세요.",
      "affected_logs": 37,
      "blocking": true,
      "hedge": null
    }
  },
  {
    "input_ref": "REQ-09 · REQ-10 (같은 대상에 다른 조치)",
    "output": {
      "gap_id": "G-004",
      "gap_type": "conflict",
      "requirement_refs": [
        "REQ-09",
        "REQ-10"
      ],
      "question": "이메일 주소를 두 요건이 다르게 다룹니다. 어느 쪽을 규칙으로 삼을까요.",
      "options": [
        "REQ-09 대로 업무 안내 목적이면 허용",
        "REQ-10 대로 항상 마스킹",
        "업무 안내 목적만 예외로 두고 나머지는 마스킹"
      ],
      "requirement_quote": "이메일 주소는 업무 안내 목적이면 응답에 그대로 넣어도 무방하다.",
      "log_evidence": "문의는 help.center@example-bank.co.kr 으로 보내주세요.",
      "affected_logs": 18,
      "blocking": true,
      "hedge": null
    }
  },
  {
    "input_ref": "REQ-04 (로그에 없는 채널 표기)",
    "output": {
      "gap_id": "G-006",
      "gap_type": "channel_unmapped",
      "requirement_refs": [
        "REQ-04"
      ],
      "question": "요건이 가리키는 '카톡상담' 채널이 발화 로그에 없습니다. 로그의 어느 채널을 뜻할까요.",
      "options": [
        "ch_kakao(카카오톡)와 같은 채널",
        "로그에 아직 안 잡힌 별도 채널",
        "지금은 쓰지 않는 채널이라 규칙에서 제외"
      ],
      "requirement_quote": "투자 수익을 단정하는 표현은 응답에서 제외한다.",
      "log_evidence": null,
      "affected_logs": 0,
      "blocking": true,
      "hedge": "채널을 확정하기 전에는 영향 건수를 셀 수 없어 0으로 둡니다"
    }
  },
  {
    "input_ref": "로그 교차 대조 (요건서에 없는 위험 패턴)",
    "output": {
      "gap_id": "G-011",
      "gap_type": "uncovered_pattern",
      "requirement_refs": [],
      "question": "여권번호가 응답에 그대로 나가는 로그가 있는데 요건서 어디에도 언급이 없습니다. 어떻게 다룰까요.",
      "options": [
        "주민등록번호와 같게 즉시 차단",
        "앞자리만 남기고 마스킹",
        "이번 범위에서 제외"
      ],
      "requirement_quote": null,
      "log_evidence": "여권번호 M12345678 로 등록된 정보가 확인됩니다.",
      "affected_logs": 23,
      "blocking": false,
      "hedge": "요건서에 근거가 없어 위험도를 단정하지 않고 담당자 판단으로 넘깁니다"
    }
  }
]

[자동 검증] 1. JSON Schema 형식 검증으로 질문 1건의 필드·enum·minLength 가 스키마를 통과하는지 확인합니다(못 통과하면 질문지 md 에 못 실으므로 거릅니다). 2. requirement_quote 가 요건서 원문 행에 실제로 있는 문장인지, log_evidence 가 발화 로그 원문에 있는 조각인지 토큰 매칭으로 확인하고, 둘 다 없는 질문은 만들지 않고 '판정 불가' 목록으로 뺍니다. 3. gap_type 이 규칙 판정 결과와 같은지 확인합니다. 한 행이 여러 결함에 걸리면 action_missing, channel_unmapped, conflict, unverifiable 순으로 앞선 유형이 잡혔는지 봅니다. 4. affected_logs 를 발화 로그에서 다시 세어 질문지에 적힌 수와 일치하는지 확인하고, gap_type 과 blocking 을 심은 정답 라벨과 비교해 일치율과 놓친 결함·과잉 질문을 계산합니다. [수동 검증] 1. 담당자 역할 2명이 같은 질문지를 따로 읽고 답할 수 있는 질문인지 라벨링해 bootstrap Cohen's κ(두 사람 판단 일치가 우연 이상인 정도, 0~1) 하한 0.6 이상을 봅니다. 2. 전체 질문의 5% 를 사람이 직접 점검하고, 연동 차단으로 표시된 질문과 '판정 불가'로 빠진 행을 우선으로 봅니다.