AI가 쓴 투자 리서치 메모의 숫자와 인용을 원문 공시와 대조해 근거 없는 주장을 짚어내는 검수 콘솔

{"type":"object","properties":{"claim_id":{"type":"string"},"verdict":{"type":"string","enum":["supported","number_mismatch","stale_period","no_citation","unmapped_source","unverifiable"]},"matched_fact_id":{"type":["string","null"]},"rubric":{"type":"object","properties":{"grounding":{"type":"integer","minimum":0,"maximum":3},"accuracy":{"type":"integer","minimum":0,"maximum":3},"specificity":{"type":"integer","minimum":0,"maximum":3}},"required":["grounding","accuracy","specificity"]},"reason":{"type":"string","minLength":20},"evidence":{"type":"string","minLength":8},"hedge":{"type":["string","null"]}},"required":["claim_id","verdict","matched_fact_id","rubric","reason","evidence"]}

[
  {
    "input_ref": "mc_002 (삼성전자 영업이익률 주장 수치 불일치)",
    "output": {
      "claim_id": "mc_002",
      "verdict": "number_mismatch",
      "matched_fact_id": "df_002",
      "rubric": {
        "grounding": 3,
        "accuracy": 1,
        "specificity": 2
      },
      "reason": "메모가 삼성전자 2025Q4 영업이익률을 17.0%로 적었으나 사업보고서 사실은 15.5%라 1.5%p 어긋납니다. 인용 출처는 맞지만 수치가 원문과 달라 고객 전달 전 수정이 필요합니다.",
      "evidence": "claimed_value=17.0, df_002.value=15.5, period=2025Q4",
      "hedge": null
    }
  },
  {
    "input_ref": "mc_004 (네이버 매출성장 인용 누락)",
    "output": {
      "claim_id": "mc_004",
      "verdict": "no_citation",
      "matched_fact_id": "df_006",
      "rubric": {
        "grounding": 0,
        "accuracy": 3,
        "specificity": 2
      },
      "reason": "메모의 네이버 2025Q4 매출성장 8.0%는 공시 사실과 값은 같으나 인용 출처가 비어 있습니다. 값이 맞아도 근거가 없으면 buy-side 검수를 통과하지 못하므로 출처를 달아야 합니다.",
      "evidence": "cited_source=null, df_006.value=8.0",
      "hedge": "값은 일치하나 인용 누락이라 supported로 올리지 않습니다"
    }
  },
  {
    "input_ref": "mc_007 (삼성전자 옛 분기 숫자 재활용)",
    "output": {
      "claim_id": "mc_007",
      "verdict": "stale_period",
      "matched_fact_id": "df_010",
      "rubric": {
        "grounding": 2,
        "accuracy": 1,
        "specificity": 1
      },
      "reason": "메모가 2026Q2 매출성장률을 5.0%로 적었지만 이는 2026Q1 사실을 그대로 옮긴 값이고 2026Q2 공시 사실은 없습니다. 옛 분기 숫자 재활용으로 보이므로 최신 분기 확인이 필요합니다.",
      "evidence": "claim.period=2026Q2, cited=2026Q1, df_010.value=5.0",
      "hedge": "2026Q2 사실이 없어 최신 수치는 단정하지 않습니다"
    }
  },
  {
    "input_ref": "mc_006 (미등록 지표 참조)",
    "output": {
      "claim_id": "mc_006",
      "verdict": "unmapped_source",
      "matched_fact_id": null,
      "rubric": {
        "grounding": 0,
        "accuracy": 0,
        "specificity": 1
      },
      "reason": "메모가 든 '혁신지수'는 공시 사실 마스터에 없는 지표라 원문 대조가 불가능합니다. 근거를 단정하지 않고 지표 등록 또는 출처 교체를 요청해야 합니다.",
      "evidence": "metric_id=null, cited_source=내부 추정",
      "hedge": "마스터 미등록 지표라 판정 등급은 추정하지 않습니다"
    }
  }
]

[자동 검증] 1. JSON Schema parse로 출력 형식(필드·enum·정수 범위)이 스키마를 통과하는지 확인합니다. 2. verdict가 대조 규칙(수치 허용오차·인용 null·기간 매칭·마스터 조인·값 결측)과 일치하는지 봅니다. 3. verdict를 심은 정답 label과 비교해 정밀도·재현율을 계산합니다. 4. matched_fact_id가 null인데 verdict가 supported로 나오면 차단하고, 투자 판단 단정 표현을 거릅니다. [수동 검증] 1. 검토자 2명이 비동기로 판정을 라벨링해 정밀도·재현율과 bootstrap Cohen's κ(두 사람 일치가 우연 이상인 정도, 0~1) 하한 0.6 이상을 봅니다. 2. 전체의 5%를 사람이 직접 원문 공시와 대조해 점검합니다.