학습자 논증의 약한 고리를 짚고 다음 훈련을 제안하는 도구입니다.

{"type":"object","properties":{"session_id":{"type":"string"},"scores":{"type":"array","items":{"type":"object","properties":{"axis":{"type":"string","enum":["claim_clarity","evidence_strength","rebuttal_handling"]},"value":{"type":"number","minimum":0,"maximum":3},"cited_span":{"type":["string","null"]}},"required":["axis","value","cited_span"]}},"weak_links":{"type":"array","items":{"type":"object","properties":{"type":{"type":"string","enum":["no_evidence","logic_leap","rebuttal_dodge"]},"why":{"type":"string","minLength":12}},"required":["type","why"]},"maximum":3},"next_tasks":{"type":"array","items":{"type":"object","properties":{"task":{"type":"string","minLength":10},"target_axis":{"type":"string","enum":["claim_clarity","evidence_strength","rebuttal_handling"]},"confidence":{"type":"string","enum":["low","mid","high"]}},"required":["task","target_axis","confidence"]}},"hedge":{"type":["string","null"],"minLength":8}},"required":["session_id","scores","weak_links","next_tasks","hedge"]}

[
  {
    "session_id": "s_0002",
    "scores": [
      {
        "axis": "claim_clarity",
        "value": 2,
        "cited_span": "AI 감시는 안전을 높인다"
      },
      {
        "axis": "evidence_strength",
        "value": 0,
        "cited_span": null
      },
      {
        "axis": "rebuttal_handling",
        "value": 0,
        "cited_span": null
      }
    ],
    "weak_links": [
      {
        "type": "no_evidence",
        "why": "주장만 있고 근거 인용이 전혀 없음"
      },
      {
        "type": "rebuttal_dodge",
        "why": "예상 반론(사생활)을 다루지 않음"
      }
    ],
    "next_tasks": [
      {
        "task": "통계 출처 1개를 찾아 근거로 붙이기",
        "target_axis": "evidence_strength",
        "confidence": "high"
      },
      {
        "task": "사생활 침해 반론을 한 문장으로 반박",
        "target_axis": "rebuttal_handling",
        "confidence": "mid"
      },
      {
        "task": "주장을 조건부로 좁혀 재서술",
        "target_axis": "claim_clarity",
        "confidence": "mid"
      }
    ],
    "hedge": "근거 부재는 명확하나, 반론 회피 판정은 주제 난이도에 따라 후속 검증 필요."
  },
  {
    "session_id": "s_0003",
    "scores": [
      {
        "axis": "claim_clarity",
        "value": 3,
        "cited_span": "최저임금 인상은 고용을 줄인다"
      },
      {
        "axis": "evidence_strength",
        "value": 2,
        "cited_span": "OECD 보고 인용"
      },
      {
        "axis": "rebuttal_handling",
        "value": 2,
        "cited_span": "수요 효과 반론"
      }
    ],
    "weak_links": [
      {
        "type": "logic_leap",
        "why": "OECD 평균을 한국 사례로 바로 일반화"
      }
    ],
    "next_tasks": [
      {
        "task": "한국 데이터로 근거 교체하거나 범위 한정",
        "target_axis": "evidence_strength",
        "confidence": "high"
      },
      {
        "task": "수요 효과 반론에 수치로 재반박",
        "target_axis": "rebuttal_handling",
        "confidence": "mid"
      },
      {
        "task": "주장에 기간·업종 조건 추가",
        "target_axis": "claim_clarity",
        "confidence": "low"
      }
    ],
    "hedge": "채점자 간 valid 판정이 갈린 사례 — 일반화 비약 여부는 표본 더 필요."
  },
  {
    "session_id": "s_0010",
    "scores": [
      {
        "axis": "claim_clarity",
        "value": 1,
        "cited_span": "AI는 일자리를 늘린다"
      },
      {
        "axis": "evidence_strength",
        "value": 0,
        "cited_span": null
      },
      {
        "axis": "rebuttal_handling",
        "value": 0,
        "cited_span": null
      }
    ],
    "weak_links": [
      {
        "type": "no_evidence",
        "why": "근거 칸이 비어 있음"
      }
    ],
    "next_tasks": [
      {
        "task": "최근 고용 통계 1건을 근거로 추가",
        "target_axis": "evidence_strength",
        "confidence": "high"
      },
      {
        "task": "자동화로 줄어드는 일자리 반론 작성",
        "target_axis": "rebuttal_handling",
        "confidence": "high"
      },
      {
        "task": "‘어떤 직군에서’ 로 주장 구체화",
        "target_axis": "claim_clarity",
        "confidence": "mid"
      }
    ],
    "hedge": null
  }
]

자동: (1) Zod parse, (2) cited_span 이 입력 논증의 실제 substring, (3) 근거 단정 토큰 검출 + LLM-as-judge 의미 평가, (4) 전문가 라벨과 valid 일치율 자동 계산. 수동: 외부 평가자 2명 비동기 라벨 → bootstrap Cohen’s κ CI 하한 ≥ 0.6, judge 인간 spot check 5%.