페이지 운영 담당자에게 한국어 질문을 조회 조건으로 바꿔 실행한 결과를 보여주는 CLI입니다.

{"type":"object","properties":{"question":{"type":"string"},"status":{"type":"string","enum":["ran","clarify","unsupported"]},"parsed_filter":{"type":["string","null"]},"columns_used":{"type":"array","items":{"type":"string"}},"matched":{"type":"array","items":{"type":"object","properties":{"url":{"type":"string"},"evidence":{"type":"string"}},"required":["url","evidence"]}},"count":{"type":["integer","null"]},"hedge":{"type":"string"}},"required":["question","status","parsed_filter","columns_used","matched","count","hedge"]}

[
  {
    "question": "노출은 꽤 되는데 클릭이 하나도 없는 페이지를 알려 주세요",
    "status": "ran",
    "parsed_filter": "impressions_30d >= 1000 AND clicks_30d = 0",
    "columns_used": [
      "impressions_30d",
      "clicks_30d"
    ],
    "matched": [
      {
        "url": "https://shop.example.com/p/1006",
        "evidence": "impressions_30d=15200, clicks_30d=0"
      }
    ],
    "count": 1,
    "hedge": "'꽤 되는'을 술어 사전의 1000 회 기준으로 옮겼습니다. 기준을 바꾸려면 조건을 직접 지정해 다시 실행하시면 됩니다. 합성 인벤토리 기준입니다."
  },
  {
    "question": "성과가 안 좋은 페이지를 정리해 주세요",
    "status": "clarify",
    "parsed_filter": null,
    "columns_used": [],
    "matched": [],
    "count": null,
    "hedge": "성과의 기준 컬럼이 지목되지 않아 실행하지 않았습니다. 노출(impressions_30d)이 낮은 쪽인지 클릭(clicks_30d)이 없는 쪽인지 알려 주시면 조건으로 옮깁니다."
  },
  {
    "question": "경쟁사보다 순위가 밀린 페이지를 알려 주세요",
    "status": "unsupported",
    "parsed_filter": null,
    "columns_used": [],
    "matched": [],
    "count": null,
    "hedge": "이 인벤토리에는 경쟁사 순위 컬럼이 없어 조건을 만들지 않았습니다. 순위 데이터를 컬럼으로 받으면 같은 방식으로 질의할 수 있습니다."
  }
]

[자동 검증 · 스크립트가 전수 수행] 1. 출력이 JSON Schema 형식을 통과하는지 확인합니다(형식이 깨진 결과가 터미널에 나가는 것을 차단). 2. status=ran 인 결과의 matched URL 집합이 정답표의 expected_urls 와 완전히 일치하는지 확인합니다(정답은 LLM 이 아니라 조건 실행 결과가 결정). 3. parsed_filter 에 쓰인 컬럼과 술어가 전부 사전 안에 있는지, columns_used 와 어긋나지 않는지 확인합니다(없는 컬럼을 지어내는 것을 차단). 4. kind 가 ambiguous·unsupported 인 질문에서 matched 가 비어 있고 count 가 null 인지 확인합니다(모르는 질문에 목록이 나가는 것을 차단). [수동 검증 · 사람이 표본 확인] 1. 되묻기 문장이 실제로 필요한 기준을 짚는지 질문 30건을 표본 검토합니다. 2. evidence 에 찍힌 컬럼 값이 인벤토리 원본과 같은지 표본으로 대조합니다.