현업 업무에서 자동화 기회를 짚어 배포하는 PoC

{"type":"object","properties":{"period":{"type":"string"},"candidates":{"type":"array","items":{"type":"object","properties":{"task_id":{"type":"string"},"why":{"type":"string","minLength":15},"saved_min_per_day":{"type":"number"},"confidence":{"type":"string","enum":["low","mid","high"]}},"required":["task_id","why","saved_min_per_day","confidence"]},"minItems":3,"maxItems":3},"answers":{"type":"array","items":{"type":"object","properties":{"q":{"type":"string","minLength":8},"answer":{"type":"string","minLength":15},"cited_doc_id":{"type":["string","null"]},"cite_match":{"type":"boolean"}},"required":["q","answer","cited_doc_id","cite_match"]},"minItems":1,"maxItems":3},"verification":{"type":["object","null"],"properties":{"prior_period":{"type":"string"},"agree_rate":{"type":"number"},"hits":{"type":"array","items":{"type":"object","properties":{"q":{"type":"string"},"predicted_ok":{"type":"boolean"},"staff_ok":{"type":"boolean"},"hit":{"type":"boolean"}},"required":["q","predicted_ok","staff_ok","hit"]}}},"required":["prior_period","agree_rate","hits"]}},"required":["period","candidates","answers","verification"]}

[
  {
    "period": "2026-05-06",
    "candidates": [
      {
        "task_id": "t_track",
        "why": "배송 조회 안내 일 75회 × 5분 — 정형 답변이라 RAG 자동화 적합",
        "saved_min_per_day": 375,
        "confidence": "high"
      },
      {
        "task_id": "t_return",
        "why": "반품 문의 응대 빈도 높고 절차 매뉴얼 명확 — 초안 자동화 적합",
        "saved_min_per_day": 280,
        "confidence": "high"
      },
      {
        "task_id": "t_coupon",
        "why": "쿠폰 발급 정리 빈도 낮고 minutes 결측 — 우선순위 낮음",
        "saved_min_per_day": 30,
        "confidence": "low"
      }
    ],
    "answers": [
      {
        "q": "단순 변심 반품 환불 기한은?",
        "answer": "회수 완료 후 영업일 3일 내 환불, 왕복 배송비 차감(v3 기준)",
        "cited_doc_id": "m_return_01",
        "cite_match": true
      },
      {
        "q": "미등록 송장은 어떻게 안내?",
        "answer": "‘처리 중’ 으로 안내한다",
        "cited_doc_id": "m_track_01",
        "cite_match": true
      }
    ],
    "verification": null
  },
  {
    "period": "2026-05-08",
    "candidates": [
      {
        "task_id": "t_return",
        "why": "repeat_daily 200 으로 급증 — 자동화 우선순위 최상",
        "saved_min_per_day": 600,
        "confidence": "high"
      },
      {
        "task_id": "t_track",
        "why": "안정적 고빈도 — 자동화 유지",
        "saved_min_per_day": 375,
        "confidence": "high"
      },
      {
        "task_id": "t_pdp",
        "why": "상품 상세 등록 반정형 — 부분 자동화",
        "saved_min_per_day": 120,
        "confidence": "mid"
      }
    ],
    "answers": [
      {
        "q": "불량 반품 배송비는?",
        "answer": "불량은 배송비 면제(v3)",
        "cited_doc_id": "m_return_01",
        "cite_match": true
      }
    ],
    "verification": {
      "prior_period": "2026-05-06 답변",
      "agree_rate": 0.83,
      "hits": [
        {
          "q": "단순 변심 반품 환불 기한은?",
          "predicted_ok": true,
          "staff_ok": true,
          "hit": true
        },
        {
          "q": "미등록 송장은 어떻게 안내?",
          "predicted_ok": true,
          "staff_ok": true,
          "hit": true
        },
        {
          "q": "반품 환불 기한(구버전 질문)",
          "predicted_ok": true,
          "staff_ok": false,
          "hit": false
        }
      ]
    }
  },
  {
    "period": "2026-05-11",
    "candidates": [
      {
        "task_id": "t_return",
        "why": "반품 문의가 계속 상위지만 매뉴얼이 v2·v3 로 갈려 초안 자동화 전에 문서 정리가 먼저입니다",
        "saved_min_per_day": 560,
        "confidence": "mid"
      },
      {
        "task_id": "t_track",
        "why": "배송 조회는 절차가 하나뿐이라 자동화 후보로 그대로 둡니다",
        "saved_min_per_day": 375,
        "confidence": "high"
      },
      {
        "task_id": "t_pdp",
        "why": "상품 상세 등록은 반정형이라 초안까지만 자동화합니다",
        "saved_min_per_day": 120,
        "confidence": "mid"
      }
    ],
    "answers": [
      {
        "q": "반품 환불 기한은 며칠인가요?",
        "answer": "폐지된 v2 를 인용해 5일로 답했습니다. 현행 v3 는 3영업일이라 이 답은 틀렸습니다.",
        "cited_doc_id": "m_return_00",
        "cite_match": false
      }
    ],
    "verification": {
      "prior_period": "2026-05-08 답변",
      "agree_rate": 0.67,
      "hits": [
        {
          "q": "불량 반품 배송비는?",
          "predicted_ok": true,
          "staff_ok": true,
          "hit": true
        },
        {
          "q": "미등록 송장은 어떻게 안내?",
          "predicted_ok": true,
          "staff_ok": true,
          "hit": true
        },
        {
          "q": "반품 환불 기한은?",
          "predicted_ok": true,
          "staff_ok": false,
          "hit": false
        }
      ]
    }
  }
]

자동: (1) Zod parse, (2) cited_doc_id 가 manuals 의 실제 문서이고 폐지 버전 아님, (3) 인용 span 일치 검사 + LLM-as-judge 범위 이탈 평가, (4) 현업 라벨과 ok 일치율 자동 계산. 수동: 현업 담당자 2명 비동기 라벨 → bootstrap Cohen’s κ CI 하한 ≥ 0.6, judge 인간 spot check 5%.