완주율 낮은 강의가 어느 회차에서 이탈하는지 짚고, 다음 개선 실험을 제안하는 운영 도구입니다.

{"type":"object","properties":{"period":{"type":"string"},"course_id":{"type":"string"},"dropoff_map":{"type":"array","minItems":1,"items":{"type":"object","properties":{"lecture_no":{"type":"integer"},"retained_pct":{"type":"number"},"drop_delta_pct":{"type":"number"}},"required":["lecture_no","retained_pct","drop_delta_pct"]}},"diagnoses":{"type":"array","minItems":3,"maxItems":3,"items":{"type":"object","properties":{"diagnosis_id":{"type":"string"},"headline":{"type":"string","minLength":10},"interpretation":{"type":"string","minLength":20},"evidence_metrics":{"type":"array","minItems":1,"items":{"type":"object","properties":{"name":{"type":"string"},"value":{"type":["number","string"]}},"required":["name","value"]}},"hedge":{"type":["string","null"],"minLength":8}},"required":["diagnosis_id","headline","interpretation","evidence_metrics"]}},"experiments":{"type":"array","minItems":3,"maxItems":3,"items":{"type":"object","properties":{"experiment_id":{"type":"string"},"target_lecture_no":{"type":"integer"},"action":{"type":"string","minLength":20},"predicted_completion_delta_pp":{"type":"number"},"confidence":{"type":"string","enum":["low","mid","high"]},"confidence_prob":{"type":"number"}},"required":["experiment_id","target_lecture_no","action","predicted_completion_delta_pp","confidence","confidence_prob"]}},"verification":{"type":["object","null"],"properties":{"prior_period":{"type":"string"},"hit_rate":{"type":"number"},"brier_score":{"type":"number"},"hits":{"type":"array","items":{"type":"object","properties":{"experiment_id":{"type":"string"},"predicted_pp":{"type":"number"},"actual_pp":{"type":"number"},"hit":{"type":"boolean"},"confidence_prob":{"type":"number"}},"required":["experiment_id","predicted_pp","actual_pp","hit"]}}}}},"required":["period","course_id","dropoff_map","diagnoses","experiments"]}

[
  {
    "input_ref": "2026-04-13 강의 c_data_intro (1주차 첫 진단. 아직 이전 실험이 없어 verification 은 null)",
    "output": {
      "period": "2026-04-06 ~ 2026-04-12",
      "course_id": "c_data_intro",
      "dropoff_map": [
        {
          "lecture_no": 1,
          "retained_pct": 100,
          "drop_delta_pct": 0
        },
        {
          "lecture_no": 2,
          "retained_pct": 92,
          "drop_delta_pct": 8
        },
        {
          "lecture_no": 3,
          "retained_pct": 85,
          "drop_delta_pct": 7
        },
        {
          "lecture_no": 4,
          "retained_pct": 58,
          "drop_delta_pct": 27
        },
        {
          "lecture_no": 5,
          "retained_pct": 52,
          "drop_delta_pct": 6
        }
      ],
      "diagnoses": [
        {
          "diagnosis_id": "dg_c_data_intro_01",
          "headline": "이탈 급증 회차: 4강 파이썬 환경설정 실습",
          "interpretation": "4강에서 잔존율이 85%에서 58%로 27%p 급감했습니다. 직전 회차 대비 이탈 증가폭이 약 4배이고, drop·refund 이벤트가 4강에 몰려 있습니다.",
          "evidence_metrics": [
            {
              "name": "drop_delta_pct",
              "value": 27
            },
            {
              "name": "lecture_no",
              "value": 4
            }
          ],
          "hedge": "표본이 강의 1개입니다. 실습 회차 일반화는 다른 강의로 후속 검증이 필요합니다."
        },
        {
          "diagnosis_id": "dg_c_data_intro_02",
          "headline": "환불 요청이 4강 직후 집중",
          "interpretation": "환불 이벤트의 다수가 4강 시청 직후 발생했습니다. 시청비율도 0.2 안팎으로 낮아 실습 진입 장벽과 동행하는 패턴으로 보입니다.",
          "evidence_metrics": [
            {
              "name": "refund_lecture_mode",
              "value": 4
            },
            {
              "name": "avg_watch_ratio_at_drop",
              "value": 0.2
            }
          ],
          "hedge": "환불 사유 텍스트는 이 더미에 없어 원인 단정은 어렵습니다."
        },
        {
          "diagnosis_id": "dg_c_data_intro_03",
          "headline": "가격대 높은 dev 강의에서 초반 이탈 큼 (상관 관찰)",
          "interpretation": "가격 18만원대 dev 강의의 4강 이탈이 저가 강의보다 큰 편으로 관찰됩니다. 기대치 대비 실습 난이도 격차 가능성이 있습니다.",
          "evidence_metrics": [
            {
              "name": "price_krw",
              "value": 189000
            },
            {
              "name": "category",
              "value": "dev"
            }
          ],
          "hedge": "가격·카테고리 표본이 적어 인과로 단정하기 어렵습니다."
        }
      ],
      "experiments": [
        {
          "experiment_id": "ex_c_data_intro_01",
          "target_lecture_no": 4,
          "action": "환경설정 과정을 사전 준비 영상으로 분리하고 4강은 실습 위주로 재편해 진입 장벽을 낮춥니다.",
          "predicted_completion_delta_pp": 9,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "experiment_id": "ex_c_data_intro_02",
          "target_lecture_no": 4,
          "action": "4강 시작 전에 자동 환경 점검 스크립트와 체크리스트를 제공해 설치 실패로 인한 이탈을 줄입니다.",
          "predicted_completion_delta_pp": 6,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "experiment_id": "ex_c_data_intro_03",
          "target_lecture_no": 1,
          "action": "1강에 완주 로드맵과 4강 실습 난이도 안내를 추가해 기대치를 미리 맞춥니다.",
          "predicted_completion_delta_pp": 4,
          "confidence": "low",
          "confidence_prob": 0.4
        }
      ],
      "verification": null
    }
  },
  {
    "input_ref": "2026-04-20 강의 c_data_intro (2주차. verification 은 지난주 실험의 다음 기수 결과)",
    "output": {
      "period": "2026-04-13 ~ 2026-04-19",
      "course_id": "c_data_intro",
      "dropoff_map": [
        {
          "lecture_no": 4,
          "retained_pct": 71,
          "drop_delta_pct": 12
        },
        {
          "lecture_no": 8,
          "retained_pct": 60,
          "drop_delta_pct": 11
        }
      ],
      "diagnoses": [
        {
          "diagnosis_id": "dg_c_data_intro_04",
          "headline": "4강 이탈은 완화, 8강으로 병목 이동",
          "interpretation": "사전 준비 영상 분리 후 4강 이탈 증가폭이 27%p에서 12%p로 줄었습니다. 대신 8강 심화 실습에서 새 병목이 관찰됩니다.",
          "evidence_metrics": [
            {
              "name": "drop_delta_pct_lec4",
              "value": 12
            },
            {
              "name": "drop_delta_pct_lec8",
              "value": 11
            }
          ],
          "hedge": "한 기수 결과입니다. 계절·유입 경로 변수는 통제하지 못했습니다."
        },
        {
          "diagnosis_id": "dg_c_data_intro_05",
          "headline": "환불 시점이 4강에서 8강으로 이동",
          "interpretation": "환불 이벤트의 최빈 회차가 8강으로 옮겨졌습니다. 병목 회차가 바뀐 것과 일관됩니다.",
          "evidence_metrics": [
            {
              "name": "refund_lecture_mode",
              "value": 8
            }
          ],
          "hedge": "환불 건수 자체가 적어 최빈값 해석에 주의가 필요합니다."
        },
        {
          "diagnosis_id": "dg_c_data_intro_06",
          "headline": "8강 시청비율이 낮은 구간 존재 (상관 관찰)",
          "interpretation": "8강 평균 시청비율이 0.4대로 낮아 실습 난이도 급상승과 동행하는 것으로 관찰됩니다.",
          "evidence_metrics": [
            {
              "name": "avg_watch_ratio_lec8",
              "value": 0.42
            }
          ],
          "hedge": "관찰 표본이 적어 A/B 회차 교차 검증을 권합니다."
        }
      ],
      "experiments": [
        {
          "experiment_id": "ex_c_data_intro_04",
          "target_lecture_no": 8,
          "action": "8강 심화 실습을 두 개의 짧은 회차로 쪼개고 중간 체크포인트를 넣어 난이도 급상승을 완화합니다.",
          "predicted_completion_delta_pp": 7,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "experiment_id": "ex_c_data_intro_05",
          "target_lecture_no": 8,
          "action": "8강 앞에 복습 요약과 예상 소요시간 안내를 넣어 이탈 직전 이탈을 막습니다.",
          "predicted_completion_delta_pp": 5,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "experiment_id": "ex_c_data_intro_06",
          "target_lecture_no": 4,
          "action": "4강 자동 환경 점검 스크립트를 유지하며 실패 로그를 수집해 다음 개선 근거로 축적합니다.",
          "predicted_completion_delta_pp": 3,
          "confidence": "low",
          "confidence_prob": 0.4
        }
      ],
      "verification": {
        "prior_period": "2026-04-06 ~ 2026-04-12 실험",
        "hit_rate": 0.67,
        "brier_score": 0.18,
        "hits": [
          {
            "experiment_id": "ex_c_data_intro_01",
            "predicted_pp": 9,
            "actual_pp": 11,
            "hit": true,
            "confidence_prob": 0.6
          },
          {
            "experiment_id": "ex_c_data_intro_02",
            "predicted_pp": 6,
            "actual_pp": 5,
            "hit": true,
            "confidence_prob": 0.6
          },
          {
            "experiment_id": "ex_c_data_intro_03",
            "predicted_pp": 4,
            "actual_pp": 0.5,
            "hit": false,
            "confidence_prob": 0.4
          }
        ]
      }
    }
  },
  {
    "input_ref": "2026-04-20 강의 c_ux_basic (다른 강의. 6강 이탈 진단 + 지난 실험 검증)",
    "output": {
      "period": "2026-04-13 ~ 2026-04-19",
      "course_id": "c_ux_basic",
      "dropoff_map": [
        {
          "lecture_no": 5,
          "retained_pct": 78,
          "drop_delta_pct": 9
        },
        {
          "lecture_no": 6,
          "retained_pct": 55,
          "drop_delta_pct": 23
        }
      ],
      "diagnoses": [
        {
          "diagnosis_id": "dg_c_ux_basic_01",
          "headline": "이탈 급증 회차: 6강 실무 과제",
          "interpretation": "6강에서 잔존율이 78%에서 55%로 23%p 급감했습니다. 과제 제출형 회차에서 이탈이 몰리는 패턴입니다.",
          "evidence_metrics": [
            {
              "name": "drop_delta_pct",
              "value": 23
            },
            {
              "name": "lecture_no",
              "value": 6
            }
          ],
          "hedge": "과제형 회차 표본이 이 강의 하나뿐이라 일반화는 후속 검증이 필요합니다."
        },
        {
          "diagnosis_id": "dg_c_ux_basic_02",
          "headline": "6강 시청비율 결측 구간 존재",
          "interpretation": "6강에 watch_ratio 결측 행이 섞여 있어, 이탈 직전 시청 완료 여부를 일부 사용자에서 확인하지 못했습니다.",
          "evidence_metrics": [
            {
              "name": "missing_watch_ratio_rows",
              "value": 2
            }
          ],
          "hedge": "결측 구간은 추정 없이 별도로 표시하고 판단에서 제외했습니다."
        },
        {
          "diagnosis_id": "dg_c_ux_basic_03",
          "headline": "design 카테고리 과제 회차 공통 병목 (상관 관찰)",
          "interpretation": "design 카테고리 강의에서 실무 과제 회차 이탈이 큰 편으로 관찰됩니다. 과제 부담과 동행할 가능성이 있습니다.",
          "evidence_metrics": [
            {
              "name": "category",
              "value": "design"
            }
          ],
          "hedge": "카테고리 표본이 적어 인과로 단정하기 어렵습니다."
        }
      ],
      "experiments": [
        {
          "experiment_id": "ex_c_ux_basic_01",
          "target_lecture_no": 6,
          "action": "6강 실무 과제를 단계별 템플릿으로 쪼개고 예시 결과물을 제공해 착수 장벽을 낮춥니다.",
          "predicted_completion_delta_pp": 8,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "experiment_id": "ex_c_ux_basic_02",
          "target_lecture_no": 6,
          "action": "6강 과제 마감 없는 자율 제출로 바꾸고 완료 시 다음 회차 잠금 해제 방식으로 흐름을 유지합니다.",
          "predicted_completion_delta_pp": 5,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "experiment_id": "ex_c_ux_basic_03",
          "target_lecture_no": 5,
          "action": "5강 끝에 6강 과제 미리보기를 넣어 준비 시간을 확보하게 합니다.",
          "predicted_completion_delta_pp": 3,
          "confidence": "low",
          "confidence_prob": 0.4
        }
      ],
      "verification": {
        "prior_period": "2026-04-06 ~ 2026-04-12 실험",
        "hit_rate": 0.5,
        "brier_score": 0.24,
        "hits": [
          {
            "experiment_id": "ex_c_ux_basic_prev_01",
            "predicted_pp": 7,
            "actual_pp": 6,
            "hit": true,
            "confidence_prob": 0.6
          },
          {
            "experiment_id": "ex_c_ux_basic_prev_02",
            "predicted_pp": 6,
            "actual_pp": 1.5,
            "hit": false,
            "confidence_prob": 0.6
          }
        ]
      }
    }
  }
]

[자동 검증] 1) JSON 스키마 parse 통과(형식·타입·enum·minItems/maxItems·minLength). 2) evidence_metrics.name 이 입력 스키마(lecture_events·course_master)의 실제 지표 이름과 일치하는지 대조. 3) 단정 표현 토큰 검출 + LLM-as-judge 로 상관을 인과로 부풀리는 문구('때문에·에 기인' 우회 포함) 차단. 4) verification.brier_score(예측 확신도가 실제와 얼마나 맞았는지 0~1 점수, 낮을수록 정확) 자동 계산. 사이클 1 은 reporting, 사이클 2+ 는 KPI 로 격상. [수동 검증] 1) 교육 운영자 페르소나 2명 비동기 라벨 → bootstrap Cohen's κ(두 평가자 답이 우연 이상으로 일치하는 정도, 0~1) 하한 ≥ 0.6. 2) judge 결과의 5% 를 사람이 직접 점검. 3) verification 은 다음 기수 실측 완주율을 자동 조인해 채웁니다.