애널리스트 질문을 알맞은 분석 방식으로 보내고, 답의 문장마다 근거 문서를 인용해 돌려주는 금융 리서치 에이전트

{"type":"object","properties":{"question":{"type":"string"},"route":{"type":"string","enum":["market_briefing","dd_report","doc_citation","ttsql"]},"config_version":{"type":"integer"},"claims":{"type":"array","minItems":1,"items":{"type":"object","properties":{"claim":{"type":"string"},"citations":{"type":"array","items":{"type":"string"}},"grounded":{"type":"boolean"}},"required":["claim","citations","grounded"]}},"unresolved":{"type":"array","items":{"type":"string"}},"source_attribution_complete":{"type":"boolean"},"judge":{"type":"object","properties":{"faithfulness":{"type":"number"},"note":{"type":["string","null"]}}},"hedge":{"type":["string","null"]}},"required":["question","route","config_version","claims","source_attribution_complete"]}

[
  {
    "input_ref": "질문: ‘삼성전자 2분기 DS 가이던스와 컨센서스 갭 정리해줘’ (설정 cfg_doc_citation v3, enabled)",
    "output": {
      "question": "삼성전자 2분기 DS 가이던스와 컨센서스 갭 정리해줘",
      "route": "doc_citation",
      "config_version": 3,
      "claims": [
        {
          "claim": "회사는 2분기 DS 영업이익 가이던스를 전분기 대비 15% 상향한다고 밝혔습니다.",
          "citations": [
            "ch_0001"
          ],
          "grounded": true
        },
        {
          "claim": "컨센서스는 같은 기간 9% 증가로 보고 있어 회사 가이던스와 6%p 갭이 있습니다.",
          "citations": [
            "ch_0002"
          ],
          "grounded": true
        }
      ],
      "unresolved": [
        "동일 문서에 5% 상향이라는 상충 조각(ch_0010)이 있어 두 수치 중 무엇이 최종인지는 도메인 확인이 필요합니다."
      ],
      "source_attribution_complete": true,
      "judge": {
        "faithfulness": 0.92,
        "note": "두 인용 모두 원문 문구 일치. 상충 수치를 답에 단정하지 않고 unresolved 로 뺀 점 양호."
      },
      "hedge": "가이던스와 컨센서스는 서로 다른 문서 출처이며, 동일 지표에 상충 조각이 존재합니다."
    }
  },
  {
    "input_ref": "질문: ‘하이닉스 최근 위험요인 근거 문서로 알려줘’ (설정 cfg_doc_citation v3). 근거 청크 일부가 출처 메타 유실",
    "output": {
      "question": "하이닉스 최근 위험요인 근거 문서로 알려줘",
      "route": "doc_citation",
      "config_version": 3,
      "claims": [
        {
          "claim": "공시는 메모리 가격 변동성과 고객사 재고 조정을 주요 위험으로 적시했습니다.",
          "citations": [
            "ch_0004"
          ],
          "grounded": true
        }
      ],
      "unresolved": [
        "관련 조각 ch_0005 는 발행일과 종목 코드가 유실(null)돼 출처를 특정할 수 없어 답에 포함하지 않았습니다.",
        "orphan 청크 ch_0008 은 문서 마스터에 없어 원문 추적이 끊겨 인용에서 제외했습니다."
      ],
      "source_attribution_complete": true,
      "judge": {
        "faithfulness": 0.88,
        "note": "출처 불명 조각을 근거로 쓰지 않고 격리한 점 적절."
      },
      "hedge": "출처 메타가 유실된 조각은 인용에서 제외했으므로 위험요인 목록이 전부가 아닐 수 있습니다."
    }
  },
  {
    "input_ref": "질문: ‘네이버 클라우드 흑자 전환 시점 매출로 계산해줘’. 문서엔 시점만 있고 정형 매출 데이터가 없어 라우팅/근거 경계",
    "output": {
      "question": "네이버 클라우드 흑자 전환 시점 매출로 계산해줘",
      "route": "doc_citation",
      "config_version": 3,
      "claims": [
        {
          "claim": "경영진은 질의응답에서 클라우드 부문 흑자 전환 시점을 하반기로 제시했습니다.",
          "citations": [
            "ch_0007"
          ],
          "grounded": true
        }
      ],
      "unresolved": [
        "‘매출로 계산’ 부분은 코퍼스에 정형 매출 수치가 없어 근거를 찾지 못했습니다. 정형 질의(ttsql)로 재라우팅하거나 데이터 연결이 필요합니다."
      ],
      "source_attribution_complete": true,
      "judge": {
        "faithfulness": 0.9,
        "note": "근거 없는 수치를 지어내지 않고 미근거로 명시. 재라우팅 제안 적절."
      },
      "hedge": "질문의 계산 요구는 현재 코퍼스만으로 답할 수 없어 데이터 경계를 벗어납니다."
    }
  }
]

[자동 검증: 규칙·결정론으로 객관 채점] 1. JSON Schema parse 통과(출력 형식이 안 깨지는지). 2. route 가 해당 질문에 대해 agent_configs 의 enabled=true 인 설정 라우팅 규칙과 일치하는지(라우팅은 설정으로 결정론적). 3. 각 claim 의 citations 청크가 doc_chunks 에 실제로 존재하고, claim 문구의 핵심 수치·표현이 그 청크 text 안에 있는지(인용 grounding = 청크 존재 + 문구 일치). 4. source_attribution_complete = 모든 claim 이 grounded=true 인 인용을 하나 이상 가졌는지. 근거 못 찾은 문장은 claim 이 아니라 unresolved 로 빠졌는지. 5. orphan doc_id·출처 유실(null) 청크가 인용에 쓰이지 않았는지. [수동 검증: 사람·LLM 보조] 1. LLM-as-judge 충실도(faithfulness, 답이 인용 근거에만 기대는 정도 0~1)를 고정 질문셋에 재서 bootstrap 신뢰구간 하한을 봅니다. 2. 인용이 ‘존재’할 뿐 아니라 질문에 ‘맞는’ 근거인지(관련성)와 상충 수치 판단은 실 애널리스트 spot check 5%로 확인합니다.