백엔드 PR의 변경 코드를 받아 사내 규칙(트랜잭션 경계·감사 로그 누락·API 하위호환·예외 삼킴)으로 리뷰 코멘트를 자동으로 달고, 위반 심각도에 따라 자동승인 후보·사람 리뷰 필요·머지 차단으로 가르되 diff 에 없는 지적은 사람에게 돌리는 코드 리뷰 게이트입니다.

{"type":"object","properties":{"pr_id":{"type":"string"},"service_id":{"type":["string","null"]},"decision":{"type":"string","enum":["approve_candidate","needs_review","block"]},"factors":{"type":"array","items":{"type":"string","enum":["api_backward_incompat","tx_boundary_violation","missing_audit_log","swallowed_exception","n_plus_one_query","ungrounded","unmapped_service"]}},"line_ref":{"type":"string"},"comment":{"type":"string","minLength":20},"evidence":{"type":"string","minLength":8},"hedge":{"type":["string","null"]}},"required":["pr_id","service_id","decision","factors","line_ref","comment","evidence","hedge"]}

[
  {
    "input_ref": "pr_002 (트랜잭션 경계 밖 외부 호출)",
    "output": {
      "pr_id": "pr_002",
      "service_id": "settle",
      "decision": "block",
      "factors": [
        "tx_boundary_violation"
      ],
      "line_ref": "SettlementService.kt:142",
      "comment": "트랜잭션 경계 밖에서 외부 결제 API를 호출해 실패 시 정산 레코드가 부분 커밋됩니다. 호출을 트랜잭션 밖으로 빼거나 보상 처리를 넣기 전에는 머지를 막습니다.",
      "evidence": "rule_id=tx_boundary_violation, severity=block, grounded=true",
      "hedge": "심각도 차단 규칙이라 자동승인하지 않습니다"
    }
  },
  {
    "input_ref": "pr_006 (지적에 diff 근거 없음)",
    "output": {
      "pr_id": "pr_006",
      "service_id": "pay-core",
      "decision": "needs_review",
      "factors": [
        "ungrounded"
      ],
      "line_ref": "미상",
      "comment": "N+1 쿼리 가능성이 지적됐지만 변경 diff에서 해당 반복 조회 라인을 찾지 못했습니다. LLM이 근거 없이 지적했을 수 있어 자동으로 막지 않고 사람 리뷰로 돌립니다.",
      "evidence": "grounded=false, rule_id=n_plus_one_query",
      "hedge": "diff 근거를 못 찾아 사람 확인이 필요합니다"
    }
  },
  {
    "input_ref": "pr_005 (서비스 마스터 미등록)",
    "output": {
      "pr_id": "pr_005",
      "service_id": null,
      "decision": "needs_review",
      "factors": [
        "unmapped_service"
      ],
      "line_ref": "미상",
      "comment": "변경 대상 서비스가 서비스 마스터에 등록돼 있지 않아 어느 규칙셋을 적용할지 정할 수 없습니다. 서비스 등록 후 재평가가 필요해 사람 리뷰로 돌립니다.",
      "evidence": "service_raw=송금 서비스, service_id=null",
      "hedge": "미등록 서비스라 규칙셋을 특정하지 못했습니다"
    }
  }
]

[자동 검증] 1. Zod parse로 출력 형식(필드·enum)이 스키마를 통과하는지 확인합니다. 2. decision이 라우팅 규칙(근거 없음→needs_review·심각도 차단→block·경고/정보→needs_review·미등록 서비스→needs_review·정상→approve_candidate)과 일치하는지 봅니다. 3. evidence가 입력 PR의 실제 값 인용인지 토큰 매칭으로 확인하고, grounded=false면 block이 되지 않게 강제합니다. 4. decision을 심은 정답 label과 비교해 정밀도·재현율을 계산합니다. [수동 검증] 1. 리뷰어 2명이 비동기로 판정을 라벨링해 정밀도·재현율과 bootstrap Cohen's κ(두 사람 일치가 우연 이상인 정도, 0~1) 하한 0.6 이상을 봅니다. 2. 전체의 5%를 사람이 직접 점검합니다.