FDE를 위해 에이전트가 부른 도구 인자가 명세를 벗어났는지 판단해주는 CLI입니다.

{"type":"object","properties":{"call_no":{"type":"string"},"verdict":{"type":"string","enum":["compliant","value_not_allowed","number_over_limit","required_arg_missing","tool_unmapped","duplicate_call"]},"checked_arg":{"type":["string","null"]},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":["string","null"]},"value":{},"quote":{"type":["string","null"]}},"required":["field","value"]}},"next_action":{"type":"string"}},"required":["call_no","verdict","checked_arg","evidence","next_action"]}

[
  {
    "call_no": "CL-001",
    "verdict": "compliant",
    "checked_arg": "scope",
    "evidence": [
      {
        "field": "arg_value",
        "value": "team"
      },
      {
        "field": "allowed_values",
        "value": "team|department"
      }
    ],
    "next_action": "허용 값 안입니다. 기준선 호출로 남깁니다."
  },
  {
    "call_no": "CL-008",
    "verdict": "compliant",
    "checked_arg": "top_k",
    "evidence": [
      {
        "field": "arg_value",
        "value": "10"
      },
      {
        "field": "max_number",
        "value": 50
      }
    ],
    "next_action": "상한 안입니다. 기준선 호출로 남깁니다."
  },
  {
    "call_no": "CL-003",
    "verdict": "value_not_allowed",
    "checked_arg": "scope",
    "evidence": [
      {
        "field": "arg_value",
        "value": "global"
      },
      {
        "field": "allowed_values",
        "value": "team|department"
      }
    ],
    "next_action": "허용 목록에 없는 범위로 검색했습니다. 프롬프트에서 범위 기본값을 team으로 못박습니다."
  },
  {
    "call_no": "CL-004",
    "verdict": "number_over_limit",
    "checked_arg": "top_k",
    "evidence": [
      {
        "field": "arg_value",
        "value": "200"
      },
      {
        "field": "max_number",
        "value": 50
      }
    ],
    "next_action": "상한을 넘겨 문서를 가져왔습니다. 도구 쪽에서 상한을 강제하도록 고칩니다."
  },
  {
    "call_no": "CL-006",
    "verdict": "required_arg_missing",
    "checked_arg": "recipient",
    "evidence": [
      {
        "field": "arg_value",
        "value": null
      },
      {
        "field": "is_required",
        "value": true
      }
    ],
    "next_action": "필수 인자가 비어 있습니다. 통과로 세지 않고 호출 실패로 다루도록 고칩니다."
  },
  {
    "call_no": "CL-009",
    "verdict": "tool_unmapped",
    "checked_arg": null,
    "evidence": [
      {
        "field": "tool_name_raw",
        "value": "export_ledger",
        "quote": "export_ledger"
      }
    ],
    "next_action": "명세에 없는 도구를 불렀습니다. 열어 준 적이 없는 도구인지 보안 담당자와 즉시 확인합니다."
  },
  {
    "call_no": "CL-004",
    "verdict": "duplicate_call",
    "checked_arg": "top_k",
    "evidence": [
      {
        "field": "call_no",
        "agg": "count",
        "value": 2
      }
    ],
    "next_action": "같은 호출 번호가 두 번 적재됐습니다. 앞 건으로만 판정하고 뒤 건을 기록에서 뺍니다."
  }
]

[자동 검증 · 1주차] 1. verdict가 enum 여섯 값 안에 있는지 확인합니다. 2. call_no·verdict·checked_arg·evidence·next_action이 모두 있는지 확인합니다. 3. max_number가 있는 인자의 arg_value가 0 이상 그 값 이하인지 확인합니다. 4. arg_value가 null이고 is_required가 true이면 verdict가 required_arg_missing인지 확인합니다. 5. evidence의 field가 두 입력 표의 컬럼에 실재하는지 확인합니다. 6. evidence의 quote가 그 행 tool_name_raw의 일부인지 확인합니다. 7. next_action이 존댓말로 끝나는지 확인합니다. [판정 규칙] 1. 도구 이름은 대소문자와 띄어쓰기, 구분자를 없애 소문자로 모은 뒤 tool_specs의 tool_id와 맞춥니다. 맞는 것이 없으면 미매핑으로 남기고 그 행은 나머지 판정에서 뺍니다. 2. 같은 행 번호가 두 번 들어오면 앞 건만 남기고 뒤 건은 적재 단계에서 사유와 함께 뺍니다. [수동 검증] 1. 명세에 없는 도구를 부른 건이 실제로 권한 밖인지 보안 담당자가 확인합니다. 2. CL-003·CL-007처럼 도구 이름 표기가 흔들렸지만 명세로 맞춰진 호출은 미매핑 사유를 달지 않는 것이 맞는지 확인합니다. [평가 러너 · 2주차] 1. 직전 실행과 비교해 새로 어긋난 호출과 고쳐진 호출을 세고 사유별로 나눕니다. 2. 기록과 정답을 작성자가 만든 합성 기준이라 이 수치는 성능 측정이 아니라 데모 조건 동작입니다.