평가가 끝난 로봇 태스크마다 다음에 무엇을 더 모을지 정합니다

• 묶음 기준: verdict
• 한 행: 사유 라벨 · task_id + 한 줄 요약(근거 수치 포함)
• 근거 표는 행을 펼쳤을 때 보입니다 (`source` / `field` / `agg` / `value` 열)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 판정 일치 · 정답 30개 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 평가 기록을 올리기 전에는 지난 회차 결과를 그대로 띄워 화면을 확인합니다.
• 실패 사유가 비거나 수집 회차가 비어 있는 태스크는 목록에서 빠지지 않고 어느 값이 없어 판정을 멈췄는지 그 자리에 남으며, 평가를 안 돌린 태스크와 능력이 어긋난 태스크는 같은 묶음 안에서 원인이 갈려 보입니다.

{"type":"object","properties":{"task_id":{"type":"string"},"model_artifact":{"type":"string"},"verdict":{"type":"string","enum":["배포 후보","성공률 미달","실패 유형 쏠림","작업 주기 초과","학습에 없는 조건"]},"blocked_cause":{"type":["string","null"],"enum":["능력 불일치","평가 미실시",null],"description":"학습에 없는 조건으로 내려간 까닭. 수집 데이터의 조작 능력이 태스크 요구와 다르면 능력 불일치, 이번 회차에 평가를 한 줄도 돌리지 않았으면 평가 미실시입니다. 다른 판정에서는 비웁니다"},"success_rate":{"type":["number","null"],"minimum":0,"maximum":1,"description":"success 가 참인 회차 수를 그 태스크의 평가 회차 수로 나눠 소수 둘째 자리까지 반올림한 값. 이 반올림한 값이 target_success_rate 보다 작을 때만 성공률 미달입니다"},"failure_total":{"type":["integer","null"],"description":"그 태스크에서 success 가 거짓인 회차 수. 사유 칸이 빈 실패 회차도 셉니다"},"top_failure_reason":{"type":["string","null"],"description":"failure_reason 이 빈 회차를 뺀 나머지를 세어 가장 많은 값. 수가 같으면 이름이 앞서는 값을 씁니다"},"top_failure_count":{"type":["integer","null"],"description":"top_failure_reason 이 붙은 회차 수"},"top_failure_share":{"type":["number","null"],"minimum":0,"maximum":1,"description":"top_failure_count 를 failure_total 로 나눠 소수 둘째 자리까지 반올림한 값. 실패가 3회 이상이고 이 값이 task_spec.top_reason_share_limit 를 넘을 때만 한 사유로 쏠린 것으로 봅니다"},"cycle_sec_median":{"type":["number","null"],"exclusiveMinimum":0,"description":"그 태스크 평가 회차 cycle_sec 의 중앙값. 회차 수가 짝수면 가운데 두 값의 평균을 내고 소수 둘째 자리까지 반올림합니다. max_cycle_sec 보다 클 때만 작업 주기 초과입니다"},"more_episode_count":{"type":["integer","null"],"minimum":0,"description":"task_spec.min_episode_count 에서 dataset_index.episode_count 를 뺀 값이며 음수면 0 으로 둡니다. 짝이 되는 수집 줄이 없거나 수집 회차가 비어 있으면 비웁니다"},"recapture_site":{"type":["string","null"],"description":"다시 찍을 현장. 그 태스크 수집 줄의 capture_site 를 그대로 옮기고, 배포 후보이거나 수집 줄이 없으면 비웁니다"},"recapture_hand":{"type":["string","null"],"description":"다시 찍을 손 형태. 그 태스크 수집 줄의 robot_hand_type 을 그대로 옮기고, 배포 후보이거나 수집 줄이 없으면 비웁니다"},"evidence":{"type":"array","items":{"type":"object","properties":{"source":{"type":"string","enum":["evaluation_run","task_spec","dataset_index"]},"field":{"type":"string"},"agg":{"type":["string","null"],"enum":["count","sum","avg","median","min","max",null]},"value":{"type":["string","number","null"]}},"required":["source","field","value"]}},"summary":{"type":"string"},"hedge":{"type":["string","null"]}},"required":["task_id","model_artifact","verdict","evidence","summary"]}

[
  {
    "task_id": "pick-tray-A",
    "model_artifact": "RLDX-1-rc7",
    "verdict": "성공률 미달",
    "blocked_cause": null,
    "success_rate": 0.6,
    "failure_total": 4,
    "top_failure_reason": "grasp_slip",
    "top_failure_count": 2,
    "top_failure_share": 0.5,
    "cycle_sec_median": 11.05,
    "more_episode_count": 40,
    "recapture_site": "안산",
    "recapture_hand": "parallel_2f",
    "evidence": [
      {
        "source": "evaluation_run",
        "field": "episode_id",
        "agg": "count",
        "value": 10
      },
      {
        "source": "evaluation_run",
        "field": "success",
        "agg": "count",
        "value": 6
      },
      {
        "source": "task_spec",
        "field": "target_success_rate",
        "value": 0.9
      },
      {
        "source": "task_spec",
        "field": "min_episode_count",
        "value": 250
      },
      {
        "source": "dataset_index",
        "field": "episode_count",
        "value": 210
      }
    ],
    "summary": "평가 10회 가운데 6회만 성공해 기준 90%에 못 미쳤고, 수집 회차도 250회 기준에서 40회 모자랍니다.",
    "hedge": "실패 4회 가운데 1회는 사유 칸이 비어 있어 어느 유형인지 세지 못했습니다."
  },
  {
    "task_id": "insert-conn-B",
    "model_artifact": "RLDX-1-rc7",
    "verdict": "실패 유형 쏠림",
    "blocked_cause": null,
    "success_rate": 0.8,
    "failure_total": 3,
    "top_failure_reason": "grasp_slip",
    "top_failure_count": 2,
    "top_failure_share": 0.67,
    "cycle_sec_median": 13.5,
    "more_episode_count": 0,
    "recapture_site": "안산",
    "recapture_hand": "parallel_2f",
    "evidence": [
      {
        "source": "evaluation_run",
        "field": "episode_id",
        "agg": "count",
        "value": 15
      },
      {
        "source": "evaluation_run",
        "field": "success",
        "agg": "count",
        "value": 12
      },
      {
        "source": "evaluation_run",
        "field": "failure_reason",
        "value": "grasp_slip"
      },
      {
        "source": "evaluation_run",
        "field": "grasp_slip_count",
        "agg": "sum",
        "value": 3
      },
      {
        "source": "task_spec",
        "field": "target_success_rate",
        "value": 0.8
      },
      {
        "source": "task_spec",
        "field": "top_reason_share_limit",
        "value": 0.5
      }
    ],
    "summary": "성공률은 기준 80%에 딱 맞췄지만 실패 3회 가운데 2회가 잡다 놓친 경우라 다음 회차는 미끄러지는 각도를 골라 찍는 편이 낫습니다.",
    "hedge": null
  },
  {
    "task_id": "screw-M4-C",
    "model_artifact": "RLDX-1-rc7",
    "verdict": "작업 주기 초과",
    "blocked_cause": null,
    "success_rate": 0.8,
    "failure_total": 2,
    "top_failure_reason": "force_limit",
    "top_failure_count": 1,
    "top_failure_share": 0.5,
    "cycle_sec_median": 12.45,
    "more_episode_count": 0,
    "recapture_site": "판교",
    "recapture_hand": "parallel_2f",
    "evidence": [
      {
        "source": "evaluation_run",
        "field": "cycle_sec",
        "agg": "median",
        "value": 12.45
      },
      {
        "source": "task_spec",
        "field": "max_cycle_sec",
        "value": 11
      },
      {
        "source": "evaluation_run",
        "field": "success",
        "agg": "count",
        "value": 8
      },
      {
        "source": "task_spec",
        "field": "target_success_rate",
        "value": 0.8
      },
      {
        "source": "dataset_index",
        "field": "capture_site",
        "value": "판교"
      }
    ],
    "summary": "성공률 80%는 기준을 지켰지만 한 사이클 중앙값이 12.45초라 기준 11초를 넘겨 현장 택트에 못 들어갑니다.",
    "hedge": "실패 2회 가운데 1회는 사유 칸이 비어 있고, 실패가 3회에 못 미쳐 쏠림 판정은 건너뛰었습니다."
  },
  {
    "task_id": "cable-plug-G",
    "model_artifact": "RLDX-1-rc7",
    "verdict": "배포 후보",
    "blocked_cause": null,
    "success_rate": 0.71,
    "failure_total": 4,
    "top_failure_reason": "force_limit",
    "top_failure_count": 2,
    "top_failure_share": 0.5,
    "cycle_sec_median": 16.7,
    "more_episode_count": 0,
    "recapture_site": null,
    "recapture_hand": null,
    "evidence": [
      {
        "source": "evaluation_run",
        "field": "episode_id",
        "agg": "count",
        "value": 14
      },
      {
        "source": "evaluation_run",
        "field": "success",
        "agg": "count",
        "value": 10
      },
      {
        "source": "evaluation_run",
        "field": "cycle_sec",
        "agg": "median",
        "value": 16.7
      },
      {
        "source": "task_spec",
        "field": "target_success_rate",
        "value": 0.7
      },
      {
        "source": "task_spec",
        "field": "max_cycle_sec",
        "value": 18
      },
      {
        "source": "task_spec",
        "field": "top_reason_share_limit",
        "value": 0.5
      }
    ],
    "summary": "성공률 71%와 주기 중앙값 16.7초가 두 기준 안에 들고, 가장 잦은 실패 사유가 실패의 딱 절반이라 쏠림 문턱도 넘지 않았습니다.",
    "hedge": null
  },
  {
    "task_id": "box-close-F",
    "model_artifact": "RLDX-1-rc7",
    "verdict": "배포 후보",
    "blocked_cause": null,
    "success_rate": 0.9,
    "failure_total": 1,
    "top_failure_reason": "timeout",
    "top_failure_count": 1,
    "top_failure_share": 1,
    "cycle_sec_median": 11.7,
    "more_episode_count": 0,
    "recapture_site": null,
    "recapture_hand": null,
    "evidence": [
      {
        "source": "evaluation_run",
        "field": "episode_id",
        "agg": "count",
        "value": 10
      },
      {
        "source": "evaluation_run",
        "field": "success",
        "agg": "count",
        "value": 9
      },
      {
        "source": "evaluation_run",
        "field": "cycle_sec",
        "agg": "median",
        "value": 11.7
      },
      {
        "source": "task_spec",
        "field": "target_success_rate",
        "value": 0.85
      },
      {
        "source": "task_spec",
        "field": "max_cycle_sec",
        "value": 14
      },
      {
        "source": "dataset_index",
        "field": "episode_count",
        "value": 280
      }
    ],
    "summary": "성공률 90%에 주기 중앙값 11.7초로 두 기준을 다 넘겨 추가 수집 없이 배포 대상으로 올릴 만합니다.",
    "hedge": null
  },
  {
    "task_id": "wire-route-D",
    "model_artifact": "RLDX-1-rc7",
    "verdict": "학습에 없는 조건",
    "blocked_cause": "능력 불일치",
    "success_rate": null,
    "failure_total": null,
    "top_failure_reason": null,
    "top_failure_count": null,
    "top_failure_share": null,
    "cycle_sec_median": null,
    "more_episode_count": 380,
    "recapture_site": "안산",
    "recapture_hand": "5finger",
    "evidence": [
      {
        "source": "task_spec",
        "field": "required_skill",
        "value": "bimanual_coord"
      },
      {
        "source": "dataset_index",
        "field": "required_skill",
        "value": "single_arm_pick"
      },
      {
        "source": "task_spec",
        "field": "min_episode_count",
        "value": 500
      },
      {
        "source": "dataset_index",
        "field": "episode_count",
        "value": 120
      },
      {
        "source": "dataset_index",
        "field": "robot_hand_type",
        "value": "5finger"
      },
      {
        "source": "dataset_index",
        "field": "capture_site",
        "value": "안산"
      }
    ],
    "summary": "양손 협조가 필요한 태스크인데 모아 둔 데이터는 한 팔 집기뿐이고 회차도 380회 모자라, 안산 현장에서 5지 그리퍼로 다시 찍어야 합니다.",
    "hedge": "능력이 어긋나 평가를 돌리지 않았으므로 성공률과 주기는 이 카드에서 비어 있습니다."
  },
  {
    "task_id": "door-open-J",
    "model_artifact": "RLDX-1-rc7",
    "verdict": "학습에 없는 조건",
    "blocked_cause": "평가 미실시",
    "success_rate": null,
    "failure_total": null,
    "top_failure_reason": null,
    "top_failure_count": null,
    "top_failure_share": null,
    "cycle_sec_median": null,
    "more_episode_count": null,
    "recapture_site": "판교",
    "recapture_hand": "5finger",
    "evidence": [
      {
        "source": "task_spec",
        "field": "required_skill",
        "value": "bimanual_coord"
      },
      {
        "source": "dataset_index",
        "field": "required_skill",
        "value": "bimanual_coord"
      },
      {
        "source": "dataset_index",
        "field": "episode_count",
        "value": null
      },
      {
        "source": "task_spec",
        "field": "min_episode_count",
        "value": 400
      }
    ],
    "summary": "능력은 맞는 데이터가 있는데 이번 회차에 평가를 돌리지 않았고 수집 회차도 집계되지 않아 400회 기준을 채웠는지 알 수 없습니다.",
    "hedge": "수집 회차가 비어 있어 얼마나 모자란지는 세지 못했고, 판교 현장 목록을 다시 세는 일이 먼저입니다."
  }
]

[자동 검증 · 코드가 판정합니다] 1. verdict 가 다섯 값 가운데 하나인지 확인합니다. 판정은 규칙이 정하므로 모델이 새 값을 적으면 그 응답을 버립니다. 2. task_id·model_artifact·verdict·evidence·summary 다섯 칸이 모두 차 있는지 봅니다. 3. success_rate 를 성공 회차 수 나누기 평가 회차 수로 다시 계산해 소수 둘째 자리까지 반올림한 값과 같은지 보고, 그 값이 target_success_rate 보다 **작을 때만** 성공률 미달이 붙었는지 맞춰 봅니다. 기준과 같은 값은 미달로 보지 않습니다. 4. top_failure_reason 은 사유 칸이 빈 실패 회차를 뺀 나머지에서 가장 많은 값이고, 수가 같으면 이름이 앞서는 값을 씁니다. top_failure_share 는 top_failure_count 나누기 failure_total 로 다시 계산합니다 — 사유가 빈 실패 회차도 분모에 셉니다. 5. 실패 유형 쏠림은 실패 회차가 3회 이상이고 top_failure_share 가 그 태스크 task_spec.top_reason_share_limit 를 넘을 때만 붙습니다. 문턱과 같은 값이면 붙지 않고, 실패가 3회에 못 미치면 표본이 모자라 쏠림 판정을 건너뜁니다. 6. cycle_sec_median 을 그 태스크 cycle_sec 의 중앙값으로 다시 계산합니다. 회차 수가 짝수면 가운데 두 값의 평균을 내고 소수 둘째 자리까지 반올림하며, max_cycle_sec 보다 클 때만 작업 주기 초과가 붙었는지 봅니다. 7. more_episode_count 를 min_episode_count 빼기 episode_count 로 다시 계산하되 음수면 0 으로 둡니다. 짝이 되는 수집 줄이 없거나 episode_count 가 비면 이 칸도 빕니다. 8. 평가 회차가 한 줄도 없는 태스크는 success_rate·failure_total·top_failure_reason·top_failure_count·top_failure_share·cycle_sec_median 이 모두 비어 있는지 봅니다. 9. blocked_cause 는 학습에 없는 조건일 때만 채우고 다른 판정에서는 비웁니다. 능력 짝이 어긋나면 능력 불일치, 능력은 맞는데 평가 회차가 없으면 평가 미실시입니다. 10. recapture_site·recapture_hand 는 배포 후보이거나 수집 줄이 없으면 비우고, 그 밖에는 그 태스크 dataset_index 줄의 capture_site·robot_hand_type 을 그대로 옮깁니다. 11. success_rate 와 top_failure_share 는 0 이상 1 이하, cycle_sec_median 은 0보다 큰 값인지 봅니다. 12. evidence 의 field 이름이 세 표의 컬럼에 실제로 있는 이름인지 대조합니다. 없는 이름을 인용하면 요약이 지어낸 문장이라는 뜻이라 규칙이 써 둔 기본 문장으로 되돌립니다. 13. agg 가 없는 evidence 의 value 가 인용한 그 줄의 값과 글자 그대로 같은지 보고, 여러 줄에서 센 값에는 count·sum·median 같은 agg 를 반드시 붙였는지 봅니다. 14. summary 가 존댓말 한 문장으로 끝나는지 봅니다. [판정 순서 · 규칙이 지키는 차례] ① 그 태스크 수집 줄의 required_skill 이 task_spec.required_skill 과 다르거나 수집 줄 자체가 없으면 학습에 없는 조건(능력 불일치)입니다. ② 능력은 맞는데 평가 회차가 한 줄도 없으면 학습에 없는 조건(평가 미실시)입니다. ③ 성공률 미달, ④ 실패 유형 쏠림, ⑤ 작업 주기 초과 차례로 보고, 앞에서 걸리면 뒤는 보지 않습니다. ⑥ 여기까지 걸리지 않으면 배포 후보입니다. 값이 비어 계산이 서지 않는 칸은 판정을 붙이지 않고 빈 채로 남깁니다. [평가 러너 · 2주차] 1. 연구자가 회의에서 직접 고른 다음 수집 대상을 태스크 30개(기준표 10행에 증강 20행)마다 정답으로 붙여 판정이 같은지 세고, 갈라진 태스크를 유형별로 모읍니다. 2. 다시 찍으라고 짚은 현장과 손 형태가 실제 수집 계획과 맞았는지 회차가 끝난 뒤 되짚습니다. [수동 검증 · 사람이 봅니다] 1. 한 사유로 쏠렸다는 판정이 실제로 같은 실패인지 재생 화면으로 표본 20건을 확인합니다. 2. 쏠림 문턱과 최소 실패 회차 3회가 이 현장의 감각과 맞는지 연구자와 맞춰 task_spec 값을 조정합니다.