매장 운영팀과 MD 가 판매·재고 수치를 데이터 담당자에게 요청하지 않고, 물어본 자리에서 답을 확인하는 CLI입니다.

{"type":"object","properties":{"question_id":{"type":"string"},"status":{"enum":["answered","needs_clarification","refused"]},"sql":{"type":["string","null"]},"tables_used":{"type":"array","items":{"type":"string"}},"period":{"type":["object","null"],"properties":{"from":{"type":"string"},"to":{"type":"string"}}},"matched_products":{"type":"array","items":{"type":"object","properties":{"term":{"type":"string"},"product_id":{"type":["string","null"]},"candidates":{"type":"array","items":{"type":"string"}}}}},"row_count":{"type":["integer","null"]},"preview":{"type":"array","items":{"type":"object"}},"reason":{"type":["string","null"]},"hedge":{"type":["string","null"]}},"required":["question_id","status","sql","tables_used","period","matched_products","row_count"]}

[
  {
    "input_ref": "Q001 (상대 기간 + 카테고리 상위 10개)",
    "output": {
      "question_id": "Q001",
      "status": "answered",
      "sql": "SELECT p.product_id, p.display_name, SUM(s.qty_sold - s.qty_returned) AS net_qty FROM store_daily_sales s JOIN product_master p ON p.product_id = s.product_id WHERE s.sale_date BETWEEN '2026-06-01' AND '2026-06-30' AND s.trade_area = '강남' AND p.category = '선케어' GROUP BY p.product_id, p.display_name ORDER BY net_qty DESC LIMIT 10",
      "tables_used": [
        "store_daily_sales",
        "product_master"
      ],
      "period": {
        "from": "2026-06-01",
        "to": "2026-06-30"
      },
      "matched_products": [],
      "row_count": 7,
      "preview": [
        {
          "product_id": "PRD-1001",
          "display_name": "데일리 선에센스 50ml",
          "net_qty": 812
        }
      ],
      "reason": null,
      "hedge": "'지난달' 은 질문이 들어온 2026-07-02 기준으로 6월 전체로 읽었습니다"
    }
  },
  {
    "input_ref": "Q004 (통칭이 두 상품에 걸림)",
    "output": {
      "question_id": "Q004",
      "status": "needs_clarification",
      "sql": null,
      "tables_used": [],
      "period": {
        "from": "2026-06-01",
        "to": "2026-06-30"
      },
      "matched_products": [
        {
          "term": "선크림",
          "product_id": null,
          "candidates": [
            "PRD-1001",
            "PRD-1002"
          ]
        }
      ],
      "row_count": null,
      "preview": [],
      "reason": "'선크림' 별칭이 데일리 선에센스 50ml 와 마일드 선스틱 (18g) 둘에 걸려 하나로 정하지 않았습니다",
      "hedge": "카테고리 전체(선케어)로 볼지 상품 하나로 볼지 확인이 필요합니다"
    }
  },
  {
    "input_ref": "Q006 (허용 테이블 밖 요구)",
    "output": {
      "question_id": "Q006",
      "status": "refused",
      "sql": null,
      "tables_used": [],
      "period": null,
      "matched_products": [],
      "row_count": null,
      "preview": [],
      "reason": "직원 단위 실적 테이블이 허용 목록에 없어 실행 전에 막았습니다",
      "hedge": null
    }
  },
  {
    "input_ref": "Q009 (삭제 요청)",
    "output": {
      "question_id": "Q009",
      "status": "refused",
      "sql": null,
      "tables_used": [],
      "period": null,
      "matched_products": [],
      "row_count": null,
      "preview": [],
      "reason": "SELECT 가 아닌 문장이라 읽기 전용 게이트가 실행을 막았습니다",
      "hedge": null
    }
  }
]

[자동 검증] 1. 출력 형식(필드·enum)이 JSON Schema 를 통과하는지 확인합니다. 2. sql 이 있으면 SQL 파서로 AST 를 떠서 단일 SELECT 인지, 참조 테이블·컬럼이 화이트리스트 안인지, 날짜 조건과 LIMIT 가 있는지 검사하고 하나라도 어긋나면 실행하지 않습니다. 3. tables_used 를 AST 에서 다시 뽑아 출력값과 대조하고, period 가 질문의 기간 표현을 해석 규칙대로 옮긴 값인지 재계산해 확인합니다. 4. matched_products 를 상품 마스터 별칭 매칭으로 재계산해, 후보가 0개나 2개 이상이면 product_id 가 null 이고 status 가 answered 가 아니며 reason 이 비어 있지 않은지 강제합니다. 5. status 가 answered 인 질문은 생성 SQL 과 gold_sql 을 각각 실행해 결과 집합을 정렬 무시하고 행 단위로 대조해 일치 여부를 판정합니다. 6. gold_status 와 status 를 비교해 실행하면 안 되는 질문이 실제로 막혔는지 차단 정확도를 계산합니다. [수동 검증] 1. 결과가 일치하지 않은 질문을 원인별(기간 해석·반품 제외·조인 누락·집계 단위)로 묶어 스키마 카탈로그 설명이 모자란 지점을 찾습니다. 2. answered 로 나온 질문의 5% 를 사람이 SQL 전문과 결과 표를 함께 읽어, 형식이 맞아도 질문 의도와 어긋난 답이 아닌지 확인합니다.