운영팀에게 한국어로 물은 상담 로그 조회 결과를 원문 어절과 함께 보여주는 CLI입니다.

{"type":"object","properties":{"question":{"type":"string"},"asked_at":{"type":"string"},"plan":{"type":"object","properties":{"time_range":{"type":["object","null"],"properties":{"from":{"type":"string"},"to":{"type":"string"},"source_phrase":{"type":"string"}},"required":["from","to","source_phrase"]},"filters":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"op":{"type":"string","enum":["eq","neq","in","gte","lte","is_null","not_null"]},"value":{"type":"string"},"source_phrase":{"type":"string"}},"required":["field","op","value","source_phrase"]}},"group_by":{"type":"array","items":{"type":"string"}},"metric":{"type":"string","enum":["count","ratio","avg","list"]}},"required":["time_range","filters","group_by","metric"]},"unresolved":{"type":"array","items":{"type":"object","properties":{"phrase":{"type":"string"},"reason":{"type":"string"},"ask":{"type":"string"}},"required":["phrase","reason","ask"]}},"confirmed":{"type":"boolean"},"sql":{"type":["string","null"]},"rows":{"type":"array","items":{"type":"object","properties":{"key":{"type":"string"},"value":{"type":"number"},"sample_conv_ids":{"type":"array","items":{"type":"string"}}},"required":["key","value","sample_conv_ids"]},"maxItems":20},"evidence":{"type":"array","items":{"type":"object","properties":{"conv_id":{"type":"string"},"field":{"type":"string"},"raw_value":{"type":"string"},"matched_filter":{"type":"string"}},"required":["conv_id","field","raw_value","matched_filter"]}}},"required":["question","asked_at","plan","unresolved","confirmed","sql","rows","evidence"]}

[
  {
    "input_ref": "질문 \"지난주 봇이 답한 환불 문의 중 사흘 안에 다시 들어온 건 몇 건이야\" (기준일 2026-03-10, 담당자가 조건 표를 확인하고 승인한 경우)",
    "output": {
      "question": "지난주 봇이 답한 환불 문의 중 사흘 안에 다시 들어온 건 몇 건이야",
      "asked_at": "2026-03-10 09:20",
      "plan": {
        "time_range": {
          "from": "2026-03-02",
          "to": "2026-03-08",
          "source_phrase": "지난주"
        },
        "filters": [
          {
            "field": "handled_by",
            "op": "eq",
            "value": "bot",
            "source_phrase": "봇이 답한"
          },
          {
            "field": "category_code",
            "op": "eq",
            "value": "c_refund",
            "source_phrase": "환불 문의"
          },
          {
            "field": "reopened_within_72h",
            "op": "eq",
            "value": "true",
            "source_phrase": "사흘 안에 다시 들어온"
          }
        ],
        "group_by": [],
        "metric": "count"
      },
      "unresolved": [],
      "confirmed": true,
      "sql": "SELECT count(*) AS value FROM conversations WHERE started_at >= '2026-03-02' AND started_at < '2026-03-09' AND handled_by = 'bot' AND category_code = 'c_refund' AND reopened_within_72h IS TRUE",
      "rows": [
        {
          "key": "total",
          "value": 2,
          "sample_conv_ids": [
            "C0007"
          ]
        }
      ],
      "evidence": [
        {
          "conv_id": "C0007",
          "field": "category_raw",
          "raw_value": "환불",
          "matched_filter": "category_code=c_refund (사전이 별칭 '환불' 을 표준 코드로 묶음)"
        },
        {
          "conv_id": "C0007",
          "field": "reopened_within_72h",
          "raw_value": "true",
          "matched_filter": "reopened_within_72h=true"
        }
      ]
    }
  },
  {
    "input_ref": "질문 \"최근에 만족도 낮은 대화 좀 보여줘\" (기준이 없는 어구가 있어 실행 전에 되묻는 경우)",
    "output": {
      "question": "최근에 만족도 낮은 대화 좀 보여줘",
      "asked_at": "2026-03-10 09:41",
      "plan": {
        "time_range": null,
        "filters": [
          {
            "field": "csat_1to5",
            "op": "lte",
            "value": "2",
            "source_phrase": "만족도 낮은"
          }
        ],
        "group_by": [],
        "metric": "list"
      },
      "unresolved": [
        {
          "phrase": "최근",
          "reason": "기간의 시작과 끝이 정해지지 않았습니다",
          "ask": "최근을 지난 7일로 볼까요, 이번 달 전체로 볼까요"
        },
        {
          "phrase": "낮은",
          "reason": "만족도 기준값이 질문에 없어 2점 이하로 임시 해석했습니다",
          "ask": "만족도 낮음을 2점 이하로 볼까요, 3점 이하로 볼까요"
        }
      ],
      "confirmed": false,
      "sql": null,
      "rows": [],
      "evidence": []
    }
  },
  {
    "input_ref": "질문 \"요즘 봇이 못 받은 문의 얼마나 돼?\" (기준일 2026-03-10, 담당자 확인 전)",
    "output": {
      "question": "요즘 봇이 못 받은 문의 얼마나 돼?",
      "asked_at": "2026-03-10 14:05",
      "plan": {
        "time_range": null,
        "filters": [
          {
            "field": "handled_by",
            "op": "neq",
            "value": "bot",
            "source_phrase": "봇이 못 받은"
          }
        ],
        "group_by": [],
        "metric": "count"
      },
      "unresolved": [
        {
          "field": "time_range",
          "question": "'요즘' 이 며칠부터인지 정해지지 않았습니다. 기간을 지정해 주십시오."
        }
      ],
      "confirmed": false,
      "sql": "",
      "rows": [],
      "evidence": []
    }
  }
]

자동: (1) Zod parse, (2) 모든 source_phrase 가 질문 원문의 substring 인지 검사, (3) filters 의 field 가 conversations 실제 컬럼이고 value 가 표준 코드인지 사전으로 대조, (4) unresolved 가 비어 있지 않으면 confirmed=false 이고 sql 이 null 인지 확인해 승인 없이 실행되는 경로를 차단, (5) 골드셋 채점은 plan 을 gold_time_range·gold_filters·gold_group_by·gold_metric 과 필드 단위 완전 일치로 비교하고 부분 점수를 주지 않습니다. 조건 추출만 모델이 하고 집계 수치는 SQL 결과라 모델이 숫자를 만들지 않습니다. 수동: 되묻기 문구가 담당자가 실제로 답할 수 있는 질문인지 40건을 눈으로 확인하며, 이 확인은 작성자가 대신 하므로 합성 기준입니다.