AI 엔지니어를 위해 공개한 벤치마크를 다른 사람이 그대로 재현할 수 있는지 판단해주는 CLI입니다.

{"type":"object","properties":{"record_no":{"type":"string"},"verdict":{"type":"string","enum":["documented","required_but_not_stated","value_missing","value_varies_across_runs","section_missing","condition_unmapped","duplicate_record"]},"condition_id":{"type":["string","null"]},"observed_value":{"type":["string","null"]},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":["string","null"]},"value":{},"quote":{"type":["string","null"]}},"required":["field","value"]}},"next_action":{"type":"string"}},"required":["record_no","verdict","condition_id","observed_value","evidence","next_action"]}

[
  {
    "record_no": "RC-001",
    "verdict": "documented",
    "condition_id": "dataset_size",
    "observed_value": "1000000",
    "evidence": [
      {
        "field": "condition_value",
        "value": "1000000"
      },
      {
        "field": "stated_in_doc",
        "value": true
      },
      {
        "field": "doc_section",
        "value": "실험 설정"
      }
    ],
    "next_action": "실행 값과 문서 기재가 모두 있습니다. 그대로 발행합니다."
  },
  {
    "record_no": "RC-011",
    "verdict": "documented",
    "condition_id": "model_version",
    "observed_value": "v2.3",
    "evidence": [
      {
        "field": "condition_value",
        "value": "v2.3"
      },
      {
        "field": "stated_in_doc",
        "value": true
      },
      {
        "field": "doc_section",
        "value": "모델"
      }
    ],
    "next_action": "실행 값과 문서 기재가 모두 있습니다. 그대로 발행합니다."
  },
  {
    "record_no": "RC-002",
    "verdict": "required_but_not_stated",
    "condition_id": "worker_count",
    "observed_value": "8",
    "evidence": [
      {
        "field": "is_required_for_repro",
        "value": true
      },
      {
        "field": "stated_in_doc",
        "value": false
      },
      {
        "field": "condition_value",
        "value": "8"
      }
    ],
    "next_action": "재현에 필수인데 문서에 없습니다. 발행 전에 실험 설정 절에 추가합니다."
  },
  {
    "record_no": "RC-008",
    "verdict": "value_missing",
    "condition_id": "repeat_count",
    "observed_value": null,
    "evidence": [
      {
        "field": "condition_value",
        "value": null
      },
      {
        "field": "is_required_for_repro",
        "value": true
      }
    ],
    "next_action": "실행 기록에 값이 없습니다. 적힌 것으로 세지 않고 실행 로그를 다시 확인합니다."
  },
  {
    "record_no": "RC-006",
    "verdict": "value_varies_across_runs",
    "condition_id": "worker_count",
    "observed_value": "16",
    "evidence": [
      {
        "field": "condition_value",
        "value": "16"
      },
      {
        "field": "condition_raw",
        "agg": "count",
        "value": 2
      }
    ],
    "next_action": "같은 벤치마크인데 실행마다 워커 수가 달랐습니다. 어느 실행을 대표로 쓸지 정하고 그 값만 밝힙니다."
  },
  {
    "record_no": "RC-009",
    "verdict": "condition_unmapped",
    "condition_id": null,
    "observed_value": "true",
    "evidence": [
      {
        "field": "condition_raw",
        "value": "cache_warmup",
        "quote": "cache_warmup"
      }
    ],
    "next_action": "조건 사전에 없는 항목입니다. 재현에 영향을 주는지 판단해 목록에 넣을지 정합니다."
  },
  {
    "record_no": "RC-006",
    "verdict": "duplicate_record",
    "condition_id": "worker_count",
    "observed_value": "16",
    "evidence": [
      {
        "field": "record_no",
        "agg": "count",
        "value": 2
      }
    ],
    "next_action": "같은 기록 번호가 두 번 적재됐습니다. 앞 건으로만 판정하고 뒤 건을 기록에서 뺍니다."
  }
]

[자동 검증 · 1주차] 1. verdict가 enum 일곱 값 안에 있는지 확인합니다. 2. record_no·verdict·condition_id·observed_value·evidence·next_action이 모두 있는지 확인합니다. 3. stated_in_doc이 true이면 doc_section이 있는지 확인합니다. 4. condition_value가 null이면 verdict가 value_missing인지 확인합니다. 5. evidence의 field가 두 입력 표의 컬럼에 실재하는지 확인합니다. 6. evidence의 quote가 그 행 condition_raw의 일부인지 확인합니다. 7. next_action이 존댓말로 끝나는지 확인합니다. [판정 규칙] 1. 조건 이름은 대소문자와 띄어쓰기, 구분자를 없애 소문자로 모은 뒤 published_conditions의 condition_id와 맞춥니다. 맞는 것이 없으면 미매핑으로 남기고 그 행은 나머지 판정에서 뺍니다. 2. 같은 행 번호가 두 번 들어오면 앞 건만 남기고 뒤 건은 적재 단계에서 사유와 함께 뺍니다. [수동 검증] 1. 사전에 없는 조건이 재현에 영향을 주는지 기술 리더가 판단해 목록에 넣을지 정합니다. 2. RC-003·RC-007처럼 조건 표기가 흔들렸지만 사전으로 맞춰진 기록은 미매핑 사유를 달지 않는 것이 맞는지 확인합니다. [평가 러너 · 2주차] 1. 같은 벤치마크의 여러 실행에서 값이 흔들린 조건이 몇 건인지 세고 어느 조건이 자주 흔들리는지 나눕니다. 2. 기록과 정답을 작성자가 만든 합성 기준이라 이 수치는 성능 측정이 아니라 데모 조건 동작입니다.