이탈이 큰 화면 단계에 따라 고친 화면 프로토타입을 보여주는 관리자 페이지입니다.

{"type":"object","properties":{"flow_id":{"type":"string"},"period":{"type":"string"},"diagnosis":{"type":"array","minItems":1,"maxItems":5,"items":{"type":"object","properties":{"finding_id":{"type":"string"},"step_id":{"type":"string"},"headline":{"type":"string","minLength":10},"interpretation":{"type":"string","minLength":20},"evidence_metrics":{"type":"array","minItems":1,"items":{"type":"object","properties":{"name":{"type":"string"},"value":{"type":["number","string"]}},"required":["name","value"]}},"hedge":{"type":["string","null"]}},"required":["finding_id","step_id","headline","interpretation","evidence_metrics"]}},"proposals":{"type":"array","minItems":3,"maxItems":3,"items":{"type":"object","properties":{"proposal_id":{"type":"string"},"target_step_id":{"type":"string"},"ui_change":{"type":"string","minLength":10},"rationale":{"type":"string","minLength":20},"predicted_drop_reduction_pp":{"type":"number"},"confidence":{"enum":["low","mid","high"]},"confidence_prob":{"type":"number"}},"required":["proposal_id","target_step_id","ui_change","rationale","predicted_drop_reduction_pp","confidence","confidence_prob"]}},"verification":{"type":["object","null"],"properties":{"prior_period":{"type":"string"},"hit_rate_within_tolerance":{"type":"number"},"brier_score":{"type":"number"},"hits":{"type":"array","items":{"type":"object","properties":{"target_step_id":{"type":"string"},"predicted_pp":{"type":"number"},"actual_pp":{"type":"number"},"within_tolerance":{"type":"boolean"},"confidence_prob":{"type":"number"},"actual_hit_binary":{"type":"number"}},"required":["target_step_id","predicted_pp","actual_pp","within_tolerance","confidence_prob","actual_hit_binary"]}}},"required":["prior_period","hit_rate_within_tolerance","brier_score","hits"]}},"required":["flow_id","period","diagnosis","proposals"]}

[
  {
    "input_ref": "f_signup / 2026-03-16 ~ 2026-03-20 (1주차 첫 주기. verification 은 다음 주기부터)",
    "output": {
      "flow_id": "f_signup",
      "period": "2026-03-16 ~ 2026-03-20",
      "diagnosis": [
        {
          "finding_id": "fd_signup_01",
          "step_id": "s_verify",
          "headline": "가입 이탈 최대 지점: 인증번호 입력 모달",
          "interpretation": "이 단계 진입 대비 이탈이 41%로 전체 단계 중 가장 큽니다. 100세션당 rage-click 12회, 중앙 로딩 3.8초가 함께 관찰됩니다.",
          "evidence_metrics": [
            {
              "name": "drop_rate_pct",
              "value": 41
            },
            {
              "name": "rage_click_per_100",
              "value": 12
            },
            {
              "name": "median_load_ms",
              "value": 3800
            }
          ],
          "hedge": "표본 5일. 인증 재발송 지연이 원인일 수 있어 A/B 교차 검증을 권합니다."
        },
        {
          "finding_id": "fd_signup_02",
          "step_id": "s_profile",
          "headline": "프로필 폼에서 검증 오류가 반복됨",
          "interpretation": "제출 대비 검증오류율이 27%이고, 휴대폰 형식 오류가 다수입니다. 오류 직후 이탈이 동행합니다.",
          "evidence_metrics": [
            {
              "name": "validation_error_rate_pct",
              "value": 27
            },
            {
              "name": "step_drop_rate_pct",
              "value": 19
            }
          ],
          "hedge": "필드별 오류 분해는 후속 작업입니다."
        }
      ],
      "proposals": [
        {
          "proposal_id": "pp_verify_01",
          "target_step_id": "s_verify",
          "ui_change": "인증번호 SMS 자동입력 + 재발송 타이머 노출 + 오류를 인라인 메시지로 표시",
          "rationale": "rage-click 과 3.8초 로딩 대기가 이탈과 동행합니다. 대기 상태를 눈에 보이게 하면 이탈이 완화될 것으로 봅니다.",
          "predicted_drop_reduction_pp": 12,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "proposal_id": "pp_profile_02",
          "target_step_id": "s_profile",
          "ui_change": "휴대폰 번호 실시간 마스킹 + 제출 전 인라인 검증",
          "rationale": "검증오류 27%가 재이탈을 유발합니다. 오류를 제출 전에 잡으면 이탈이 줄 것으로 봅니다.",
          "predicted_drop_reduction_pp": 8,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "proposal_id": "pp_email_03",
          "target_step_id": "s_email",
          "ui_change": "소셜 로그인 버튼을 이메일 입력 위로 우선 배치",
          "rationale": "이메일 수기 입력 부담을 줄이는 대안 경로입니다. 다만 이 단계 이탈 신호는 약해 확신은 낮습니다.",
          "predicted_drop_reduction_pp": 5,
          "confidence": "low",
          "confidence_prob": 0.4
        }
      ],
      "verification": null
    }
  },
  {
    "input_ref": "f_signup / 2026-03-23 ~ 2026-03-27 (두 번째 주기. verification 은 첫 주기 제안 결과)",
    "output": {
      "flow_id": "f_signup",
      "period": "2026-03-23 ~ 2026-03-27",
      "diagnosis": [
        {
          "finding_id": "fd_signup_03",
          "step_id": "s_verify",
          "headline": "인증 단계 이탈은 줄었으나 여전히 최대 지점",
          "interpretation": "이 단계 이탈이 41%에서 31.5%로 내렸지만 아직 전체 중 가장 큽니다. rage-click 은 100세션당 12회에서 7회로 감소했습니다.",
          "evidence_metrics": [
            {
              "name": "drop_rate_pct",
              "value": 31.5
            },
            {
              "name": "rage_click_per_100",
              "value": 7
            }
          ],
          "hedge": "합성 기준 추정입니다. 실 계측에서는 감소폭이 달라질 수 있습니다."
        }
      ],
      "proposals": [
        {
          "proposal_id": "pp_verify_04",
          "target_step_id": "s_verify",
          "ui_change": "인증 실패 시 이메일 재입력 경로를 모달 안에서 바로 제공",
          "rationale": "재발송 후에도 남는 이탈은 오입력 정정 경로 부재와 동행합니다. 정정 경로를 열면 추가 완화가 기대됩니다.",
          "predicted_drop_reduction_pp": 6,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "proposal_id": "pp_profile_05",
          "target_step_id": "s_profile",
          "ui_change": "선택 입력 필드를 접어서 필수 필드만 먼저 노출",
          "rationale": "폼 길이가 이탈과 동행합니다. 필수만 먼저 보이면 완료율이 오를 것으로 봅니다.",
          "predicted_drop_reduction_pp": 5,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "proposal_id": "pp_landing_06",
          "target_step_id": "s_landing",
          "ui_change": "가입 소요 시간 안내 배지 추가(약 1분)",
          "rationale": "시작 단계 기대 설정이 이후 이탈에 영향할 수 있습니다. 다만 근거 표본이 얕아 확신은 낮습니다.",
          "predicted_drop_reduction_pp": 3,
          "confidence": "low",
          "confidence_prob": 0.4
        }
      ],
      "verification": {
        "prior_period": "2026-03-16 ~ 2026-03-20 (첫 주기 제안)",
        "hit_rate_within_tolerance": 0.67,
        "brier_score": 0.19,
        "hits": [
          {
            "target_step_id": "s_verify",
            "predicted_pp": 12,
            "actual_pp": 9.5,
            "within_tolerance": true,
            "confidence_prob": 0.6,
            "actual_hit_binary": 1
          },
          {
            "target_step_id": "s_profile",
            "predicted_pp": 8,
            "actual_pp": 3,
            "within_tolerance": false,
            "confidence_prob": 0.6,
            "actual_hit_binary": 0
          },
          {
            "target_step_id": "s_email",
            "predicted_pp": 5,
            "actual_pp": 4.2,
            "within_tolerance": true,
            "confidence_prob": 0.4,
            "actual_hit_binary": 1
          }
        ]
      }
    }
  },
  {
    "input_ref": "f_checkout / 2026-03-16 ~ 2026-03-20 (결제 플로우 첫 주기)",
    "output": {
      "flow_id": "f_checkout",
      "period": "2026-03-16 ~ 2026-03-20",
      "diagnosis": [
        {
          "finding_id": "fd_checkout_01",
          "step_id": "s_pay",
          "headline": "결제 이탈 최대 지점: 결제 버튼 응답 지연",
          "interpretation": "결제 단계 이탈이 48%로 가장 큽니다. 결제 버튼 클릭 후 중앙 로딩 5.3초, 100세션당 rage-click 15회가 함께 관찰됩니다.",
          "evidence_metrics": [
            {
              "name": "drop_rate_pct",
              "value": 48
            },
            {
              "name": "median_load_ms",
              "value": 5300
            },
            {
              "name": "rage_click_per_100",
              "value": 15
            }
          ],
          "hedge": "표본 5일. 결제사 응답 지연이 원인일 수 있어 구간 분해가 필요합니다."
        }
      ],
      "proposals": [
        {
          "proposal_id": "pp_pay_01",
          "target_step_id": "s_pay",
          "ui_change": "결제 버튼을 눌렀을 때 즉시 로딩 상태로 전환 + 중복 클릭 잠금 + 진행 표시",
          "rationale": "5.3초 대기와 rage-click 이 이탈과 동행합니다. 진행 상태를 보여주면 재클릭·이탈이 줄 것으로 봅니다.",
          "predicted_drop_reduction_pp": 14,
          "confidence": "high",
          "confidence_prob": 0.8
        },
        {
          "proposal_id": "pp_pay_02",
          "target_step_id": "s_pay",
          "ui_change": "간편결제(토스·카카오페이) 버튼을 카드 입력 위로 우선 배치",
          "rationale": "카드 수기 입력 부담이 이탈과 동행합니다. 간편결제 우선 노출로 완화가 기대됩니다.",
          "predicted_drop_reduction_pp": 9,
          "confidence": "mid",
          "confidence_prob": 0.6
        },
        {
          "proposal_id": "pp_address_03",
          "target_step_id": "s_address",
          "ui_change": "배송지 주소 자동완성 도입",
          "rationale": "주소 입력 시간이 다음 단계 이탈로 이어질 수 있습니다. 다만 이 단계 자체 이탈은 낮아 확신은 낮습니다.",
          "predicted_drop_reduction_pp": 4,
          "confidence": "low",
          "confidence_prob": 0.4
        }
      ],
      "verification": null
    }
  }
]

[자동 검증] 1. output_schema(JSON Schema) 형식 통과: 필수 필드·타입·개수(diagnosis 1~5, proposals 정확히 3)가 맞는지 파싱으로 거릅니다. 2. 근거 일치: diagnosis 의 step_id 가 퍼널 엔진이 규칙으로 정한 '가장 이탈 큰 단계'와 같은지, evidence_metrics 의 name·value 가 엔진 계산값과 일치하는지 대조합니다(값을 지어내면 실패). 3. 인과 단정 차단: '때문에·탓에·기인' 등 단정 토큰 매칭 + LLM-as-judge 로 우회 표현까지 검출합니다. 4. 검증 루프: verification 은 다음 기간 실제 이탈률로 자동 조인해 적중률·Brier score(확신도가 실제와 얼마나 맞았는지 0~1, 낮을수록 정확)를 계산합니다(첫 주기는 null). [수동 검증] 1. UX 디자이너 페르소나 2명이 제안 타당성(ui_valid)을 비동기 라벨링하고, 두 사람 답의 일치도(Cohen's κ: 우연 이상으로 얼마나 일치하는지 0~1)를 봅니다. 2. judge 결과의 5%를 사람이 표본 점검합니다.