도메인 질문을 받아 지식그래프를 여러 홉으로 타며 답을 찾고, 이어지지 않는 홉이 나오면 멈추는 다단계 질의 에이전트입니다.

{"type":"object","properties":{"query_id":{"type":"string"},"decision":{"type":"string","enum":["answer","refuse","max_hops"]},"answer":{"type":["string","null"]},"path":{"type":"array","items":{"type":"object","properties":{"src":{"type":"string"},"rel":{"type":"string"},"dst":{"type":"string"},"chunk_id":{"type":["string","null"]}}}},"factors":{"type":"array","items":{"type":"string","enum":["ungrounded_hop","missing_start_node","missing_edge","hop_limit_exceeded","node_alias_unmapped"]}},"reason":{"type":"string","minLength":20},"evidence":{"type":"string","minLength":8},"hedge":{"type":["string","null"]}},"required":["query_id","decision","answer","path","factors","reason","evidence","hedge"]}

[
  {
    "input_ref": "q001 (2홉 정상 답)",
    "output": {
      "query_id": "q001",
      "decision": "answer",
      "answer": "pl_seoul",
      "path": [
        {
          "src": "p_hong",
          "rel": "worksFor",
          "dst": "c_acme",
          "chunk_id": "ch_11"
        },
        {
          "src": "c_acme",
          "rel": "locatedIn",
          "dst": "pl_seoul",
          "chunk_id": "ch_12"
        }
      ],
      "factors": [],
      "reason": "홍길동이 worksFor 로 에이크미에 닿고 에이크미가 locatedIn 으로 서울에 닿아, 두 홉 모두 원문 근거 청크가 있어 답합니다.",
      "evidence": "worksFor:ch_11, locatedIn:ch_12",
      "hedge": null
    }
  },
  {
    "input_ref": "q003 (경로에 근거 없는 홉)",
    "output": {
      "query_id": "q003",
      "decision": "refuse",
      "answer": null,
      "path": [
        {
          "src": "c_acme",
          "rel": "acquired",
          "dst": "c_beta",
          "chunk_id": null
        }
      ],
      "factors": [
        "ungrounded_hop"
      ],
      "reason": "acquired 엣지가 원문 근거가 없어 LLM 이 지어냈을 수 있습니다. 근거 없는 홉을 밟지 않고 답을 멈춥니다.",
      "evidence": "acquired grounded=false",
      "hedge": "인수 관계에 원문 근거가 없어 답하지 않습니다"
    }
  },
  {
    "input_ref": "q006 (시작 노드 미존재)",
    "output": {
      "query_id": "q006",
      "decision": "refuse",
      "answer": null,
      "path": [],
      "factors": [
        "missing_start_node"
      ],
      "reason": "박영희에 해당하는 시작 노드가 그래프에 없어 첫 홉을 밟을 수 없습니다. 추측하지 않고 답을 멈춥니다.",
      "evidence": "start_id=null",
      "hedge": "시작 노드가 없어 답하지 않습니다"
    }
  },
  {
    "input_ref": "q008 (홉 한도 초과)",
    "output": {
      "query_id": "q008",
      "decision": "max_hops",
      "answer": null,
      "path": [
        {
          "src": "p_hong",
          "rel": "foundedBy",
          "dst": "c_acme",
          "chunk_id": "ch_18"
        },
        {
          "src": "c_acme",
          "rel": "locatedIn",
          "dst": "pl_seoul",
          "chunk_id": "ch_12"
        },
        {
          "src": "pl_seoul",
          "rel": "partOf",
          "dst": "pl_kr",
          "chunk_id": "ch_21"
        }
      ],
      "factors": [
        "hop_limit_exceeded"
      ],
      "reason": "정답에 닿으려면 홉 한도 3을 넘겨야 해서 한도 안에서는 답을 확정할 수 없습니다. 무리해서 답하지 않고 멈춥니다.",
      "evidence": "max_hops=3 초과",
      "hedge": "홉 한도 안에서 답에 닿지 못해 멈춥니다"
    }
  }
]

[자동 검증] 1. JSON Schema 형식 검증으로 출력의 필드·enum 이 스키마를 통과하는지 확인합니다(못 통과하면 화면 카드에 못 올리므로 거릅니다). 2. path 의 각 홉이 kg_edges 에 실제로 있는 엣지인지, chunk_id 가 그 엣지의 근거 청크와 일치하는지 토큰 매칭으로 확인하고, grounded=false 엣지를 밟았으면 answer 가 되지 않게 강제합니다. 3. decision 이 정합성 규칙(근거 없는 홉·미존재 시작 노드·미존재 엣지→refuse·홉 한도 초과→max_hops·정상 도달→answer)과 일치하는지 봅니다. 4. answer·gold_decision 을 심은 정답 경로·gold_answer 와 비교해 정확도와 경로 일치율을 계산합니다. [수동 검증] 1. 검수자 2명이 비동기로 답·경로를 라벨링해 정확도와 bootstrap Cohen's κ(두 사람 일치가 우연 이상인 정도, 0~1) 하한 0.6 이상을 봅니다. 2. 전체의 5% 를 사람이 직접 점검합니다.