SK
3.7 (2,525)SK하이닉스
경력근거: 주요 불량 분석을 통해 최적화 솔루션을 도출합니다
수집일 없음
※ 실제 산출물이 아닌 AI 예측 시안입니다.
sk하이닉스 Product Engineering 은 메모리 제품의 테스트 기준을 만들고 불량을 전기적·물리적으로 분석해 소자·공정 원인까지 규명하는 직무입니다. ‘어떤 불량이 왜 늘었는가’ 를 bin 코드·측정값·공정 조건으로 짚고 다음 테스트 항목으로 되먹이는 이 사슬은, 메모리 양산 테스트라는 이 회사 고유의 데이터 구조(웨이퍼·로트·bin·공정 단계)가 있어야 의미가 있습니다. 급식이나 커머스 로그로는 이 불량-원인-점검 사슬을 그대로 만들 수 없습니다.
테스트 기준 개발과 불량 분석이 한 직무에 묶여 있습니다. 불량 로그에서 원인을 짚고 다음 테스트 조건으로 되먹이는 한 바퀴가 닫혀야 ‘제품 품질 개선’ 이 측정됩니다.
테스트 프로그램 개선과 빅데이터 분석으로 관리 체계를 고도화하는 직무입니다. 흩어진 테스트 결과를 한 스키마로 모아 패턴을 뽑아내는 데이터 파이프라인이 핵심입니다.
우대사항이 ‘Programming 역량으로 문제를 해결해본 경험’ 입니다. 신입이 80% 스킬셋(Python·SQL·대시보드)만으로 혼자 1주에 완결할 수 있는 분석 도구가 직무 적합성을 바로 보여줍니다.
메모리 테스트 결과(bin 코드·측정값)에 로트·공정 조건·테스트 단계를 붙여 한 화면에서 봅니다. LLM 이 불량이 늘어난 원인 Top3 와 다음에 먼저 볼 점검 항목 3건을 제안하고, 매일 아침 슬랙으로 리포트를 보냅니다. 1주차만으로 완성품이고, 원인 가설이 실제로 맞았는지 확인(2주차)·테스트 시간 절감 항목 제안(3주차)으로 단계적으로 키웁니다. 근거는 채용공고 정렬이고, 데이터는 작성자가 만든 더미입니다.
sk하이닉스 Product Engineering 신입입니다. 매일 쌓이는 테스트 로그에서 ‘무슨 불량이 왜 늘었는지’ 를 매번 손으로 정리하는 상황을 끝내고, 짚은 원인이 다음 로트에서 실제로 맞았는지까지 확인하고 싶은 사람입니다.
테스트 결과·불량 코드·공정 조건을 한 스키마로 묶으면, LLM 이 (a) 불량이 늘어난 원인 Top3 와 (b) 다음에 먼저 볼 점검 항목 3건을 몇 초 안에 답하고, (c) 다음 로트 실측 불량률로 그 가설이 맞았는지 확인합니다.
테스트 로그·불량 코드·공정 조건을 한곳에 모아, 불량이 늘어난 원인 Top3 와 다음 점검 항목 제안을 LLM 이 만들고 매일 아침 슬랙으로 보내는 동작하는 도구입니다. 입력은 사내 MES/테스터 원본이 아니라 그 결과를 내보낸 CSV/JSON 요약(메타데이터)을 가정해, 신입이 사내망·장비 연동 없이 1주에 혼자 완결합니다.
지난 로트에서 짚은 원인 가설의 예상 불량률을 다음 로트 실제값과 맞춰보고, 검토 엔지니어 페르소나 2명이 가설이 타당한지 라벨링해 신뢰도를 보여주는 대시보드입니다.
확인된 원인을 바탕으로, 불량 검출 기여가 낮은 테스트 항목을 뒤로 미루고 기여가 높은 항목을 앞당기는 테스트 순서 제안까지 더해, 품질과 테스트 시간을 함께 줄이는 단계입니다.
불량 급증 시나리오 10개를 넣으면, 원인 Top3 와 다음 점검 항목 제안 3건이 몇 초 안에 나오는 걸 시연합니다
일부러 만든 악성·결측 입력 30종을 넣어도 출력 형식(스키마)이 한 번도 안 깨집니다. 형식 검증(Zod) 자동 통과를 보여줍니다
매일 아침 슬랙으로 불량 리포트가 자동 발송되는 걸 14일치 시연으로 보여줍니다
내가 만든 정답 30개 중 원인 Top3 가 일치한 게 24개(80%)입니다. 단, 정답과 데이터를 모두 작성자가 만든 합성 기준이라 ‘성능 검증’ 이 아니라 ‘데모 조건에서의 동작’ 임을 명시합니다
위 수치는 전부 작성자가 만든 더미데이터 자가채점이며, 실제 적중률·일치도는 sk하이닉스 실 테스트 데이터 + 실 검수 엔지니어가 있어야 측정 가능합니다. 이 도구는 그 검증을 바로 돌릴 수 있는 상태까지 만듭니다.
이건 고객·실데이터 없이 혼자 만든 포트폴리오입니다. 모든 수치는 합성 데이터 자가채점이라 ‘성능 증명’ 이 아닙니다. 면접에서 솔직히 ‘데모 조건 동작 + 실검증 준비 상태’ 로 설명합니다
정답을 작성자가 만들었으니 잘 맞는 것이 당연합니다. 일부러 헷갈리는 결측·악성·경계 케이스를 더미에 섞어, 쉬운 문제만 푸는 게 아님을 보여줍니다
‘무슨 공정 때문에 불량이 늘었다’ 는 상관일 뿐 인과가 아닐 수 있습니다. 단정 표현을 강제로 누그러뜨리고 별도 LLM 검사로 우회 표현까지 거릅니다
테스트 불량 코드 표기가 라인·테스터마다 제각각입니다. 코드 유사도 + 카테고리 필터로 같은 불량으로 묶고, 못 묶은 건 추측하지 말고 ‘미매핑’ 으로 알립니다
실제 도입 시 달라지는 것을 명시합니다. 실 양산 테스트 분포는 더미와 다르므로 기준폭·보정값을 다시 맞춰야 하고, 검토 엔지니어도 실제 인력으로 교체해야 합니다(도입 단계 과제로 분리)
① 인라인 샘플 · ② seed.json 다운로드 · ③ 증강 프롬프트. 세 층 모두 동일한 schema 에서 파생.
로트·bin 코드·측정값 단위 테스트 결과 로그입니다. 원인 인사이트 LLM 이 가장 먼저 질의하는 테이블입니다. 운영 현실대로 결측(측정 미실시·센서 누락)·미등록 신규 bin·코드 별칭 표기·경계값을 일부러 섞어, 쉬운 데이터만 푸는 게 아님을 보여줍니다.
| date | line | lot_id | bin_raw | bin_id | tested_count | fail_rate_pct | avg_margin_mv | test_stage |
|---|---|---|---|---|---|---|---|---|
| 2026-03-04 | M16-A | L2603A01 | Vref_fail | b_vref | 4,200 | 2.3 | 18.5 | wafer |
| 2026-03-04 | M16-A | L2603A01 | tWR_timing | b_twr | 4,200 | 1.1 | 9.2 | wafer |
| 2026-03-04 | M14-B | L2603B07 | retention_fail | b_retention | 3,100 | 0.8 | 22.1 | package |
| 2026-03-05 | M16-A | L2603A02 | Vref_마진불량 | b_vref | 4,180 | 2.6 | 17.8 | wafer |
| 2026-03-05 | M14-B | L2603B08 | tRCD_timing | b_trcd | 3,050 | 1.4 | — | package |
아래 Zod 스키마에 맞는 메모리 테스트 로그 14일치(2주) JSON 배열로 생성하세요. 라인 2곳(M16-A/M14-B), 로트·테스트 단계(wafer/package/final) 분포 포함.
{"type":"object","properties":{"date":{"type":"string"},"line":{"type":"string"},"lot_id":{"type":"string"},"bin_raw":{"type":"string"},"bin_id":{"type":["string","null"]},"tested_count":{"type":"integer"},"fail_rate_pct":{"type":["number","null"]},"avg_margin_mv":{"type":["number","null"]},"test_stage":{"type":"string","enum":["wafer","package","final"]}},"required":["date","line","lot_id","bin_raw","bin_id","tested_count","fail_rate_pct","avg_margin_mv","test_stage"]}
쉬운 데이터만 만들지 말 것. 다음 하드 케이스를 의도적으로 섞어라(쉬운 문제만 푸는 함정 회피): (1) 같은 불량의 별칭 표기 혼입(bin_raw 'Vref_마진불량'→bin_id b_vref, '리텐션불량'→b_retention 처럼 bin_master 로 정규화돼야 함), (2) 미등록 신규 bin(bin_id=null) 2~3건, (3) 결측. fail_rate_pct/avg_margin_mv 가 null 인 행 각 1~2건(측정 미실시·센서 누락), (4) 설비점검일(tested_count=0, 불량·마진 null), (5) 경계값 fail_rate_pct 0.0 과 폭증 이상치(>15%) 2건. JSON 배열만.{"type":"object","properties":{"date":{"type":"string"},"line":{"type":"string"},"lot_id":{"type":"string"},"bin_raw":{"type":"string"},"bin_id":{"type":["string","null"]},"tested_count":{"type":"integer"},"fail_rate_pct":{"type":["number","null"]},"avg_margin_mv":{"type":["number","null"]},"test_stage":{"type":"string","enum":["wafer","package","final"]}},"required":["date","line","lot_id","bin_raw","bin_id","tested_count","fail_rate_pct","avg_margin_mv","test_stage"]}불량(bin) 표준 ID + 별칭(같은 불량이 ‘Vref_fail/Vref_마진불량/브이레프불량’ 으로 들어옴)과 카테고리·관련 공정 단계입니다. 원인 인사이트가 코드 별칭 차이로 분산되는 문제를 해소합니다.
| bin_id | canonical_name | aliases | bin_category | related_stage |
|---|---|---|---|---|
| b_vref | Vref 마진 불량 | ["Vref_fail","Vref_마진불량","브이레프불량"] | voltage | wafer |
| b_twr | tWR 타이밍 불량 | ["tWR_timing","tWR불량"] | timing | wafer |
| b_trcd | tRCD 타이밍 불량 | ["tRCD_timing"] | timing | wafer |
| b_retention | 리텐션 불량 | ["retention","retention_fail","리텐션불량"] | retention | package |
| b_idd | IDD 대기전류 불량 | ["IDD_standby","대기전류불량"] | current | final |
아래 Zod 스키마에 맞는 메모리 테스트 bin_master 40행 JSON 배열로 생성하세요. 같은 불량이 별칭 1~3개(영문 코드 + 한글 표기 혼용)를 가지도록.
{"type":"object","properties":{"bin_id":{"type":"string"},"canonical_name":{"type":"string"},"aliases":{"type":"array","items":{"type":"string"}},"bin_category":{"type":"string","enum":["timing","voltage","retention","current","open_short"]},"related_stage":{"type":"string","enum":["wafer","package","final"]}},"required":["bin_id","canonical_name","aliases","bin_category","related_stage"]}
조건: bin_category 분포 자연스럽게, JSON 배열만.{"type":"object","properties":{"bin_id":{"type":"string"},"canonical_name":{"type":"string"},"aliases":{"type":"array","items":{"type":"string"}},"bin_category":{"type":"string","enum":["timing","voltage","retention","current","open_short"]},"related_stage":{"type":"string","enum":["wafer","package","final"]}},"required":["bin_id","canonical_name","aliases","bin_category","related_stage"]}로트별 공정 조건(테스트 온도·웨이퍼 슬롯·설비 ID) 컨텍스트입니다. 변수통제용입니다. 온도 데이터 누락(temp_c=null) 행을 섞어, 컨텍스트 결측 시에도 원인 인사이트가 안 깨지는지 보여줍니다.
| lot_id | line | temp_c | wafer_slot | tester_id | event |
|---|---|---|---|---|---|
| L2603A01 | M16-A | 85 | 3 | T-01 | none |
| L2603A02 | M16-A | 85 | 7 | T-01 | none |
| L2603A03 | M16-A | 25 | 12 | T-02 | recipe_change |
| L2603A04 | M16-A | 85 | 5 | T-01 | material_lot_change |
| L2603A05 | M16-A | 85 | 9 | T-01 | none |
아래 Zod 스키마에 맞는 process_context JSON 배열을 test_logs 의 lot_id 와 매칭되도록 생성하세요.
{"type":"object","properties":{"lot_id":{"type":"string"},"line":{"type":"string"},"temp_c":{"type":["number","null"]},"wafer_slot":{"type":["integer","null"]},"tester_id":{"type":"string"},"event":{"type":"string","enum":["none","recipe_change","tester_maint","material_lot_change"]}},"required":["lot_id","line","temp_c","wafer_slot","tester_id","event"]}
쉬운 데이터만 만들지 말 것. 하드 케이스 의도적 혼입: (1) temp_c/wafer_slot 이 null 인 컨텍스트 결측 행 1~2건, (2) 같은 로트가 test_logs 에 있는데 process_context 에 없는 미매핑 1건. 그 외 temp_c 는 25/85/95 중심, event 7할 none. JSON 배열만.{"type":"object","properties":{"lot_id":{"type":"string"},"line":{"type":"string"},"temp_c":{"type":["number","null"]},"wafer_slot":{"type":["integer","null"]},"tester_id":{"type":"string"},"event":{"type":"string","enum":["none","recipe_change","tester_maint","material_lot_change"]}},"required":["lot_id","line","temp_c","wafer_slot","tester_id","event"]}검토 엔지니어 페르소나(LLM 시뮬 외부 평가자) 2명이 LLM 원인 인사이트에 부여한 라벨입니다. Cohen’s κ 의 입력입니다.
| insight_id | evaluator | agree | domain_valid | causal_overclaim | note |
|---|---|---|---|---|---|
| ins_2026-03-10_01 | pe_reviewer_p1 | true | true | false | — |
| ins_2026-03-10_01 | pe_reviewer_p2 | true | true | false | 마진 근거 명확 |
| ins_2026-03-10_01 | self | true | true | false | — |
| ins_2026-03-10_02 | pe_reviewer_p1 | true | true | false | — |
| ins_2026-03-10_02 | pe_reviewer_p2 | false | true | false | 온도 표본 부족. 일반화 어려움 |
아래 Zod 스키마에 맞는 external_labels 40 인사이트 × 평가자 3(p1/p2/self) = 120 행 JSON 배열로 생성하세요.
{"type":"object","properties":{"insight_id":{"type":"string"},"evaluator":{"type":"string","enum":["pe_reviewer_p1","pe_reviewer_p2","self"]},"agree":{"type":"boolean"},"domain_valid":{"type":"boolean"},"causal_overclaim":{"type":"boolean"},"note":{"type":["string","null"]}},"required":["insight_id","evaluator","agree","domain_valid","causal_overclaim","note"]}
조건: 평가자 간 agree 70% 내외, 불일치 시 note 에 도메인 사유, causal_overclaim=true 인 케이스 10% 내외, JSON 배열만.{"type":"object","properties":{"insight_id":{"type":"string"},"evaluator":{"type":"string","enum":["pe_reviewer_p1","pe_reviewer_p2","self"]},"agree":{"type":"boolean"},"domain_valid":{"type":"boolean"},"causal_overclaim":{"type":"boolean"},"note":{"type":["string","null"]}},"required":["insight_id","evaluator","agree","domain_valid","causal_overclaim","note"]}| Python | ingest 파이프라인(CSV/JSON 테스트 로그 → PostgreSQL upsert) + LLM eval 스크립트(Cohen’s κ / Brier score 계산) |
| Pandas | bin별 불량률·로트별 추세·공정 조건 교차 집계(빅데이터 분석 파트) |
| PostgreSQL | test_logs / bin_master / process_context / external_labels 단일 진실원 + 뷰(`v_lot_fail_rate`) |
| SQL | 로트·bin·공정 단계별 불량률 집계 쿼리와 리포트 봇이 호출하는 뷰 정의 |
| Node.js | Next.js 대시보드(원인 카드 + 가설 적중률 차트) 서버 런타임 |
| Slack Webhook | 매일 아침 불량 리포트 자동 발송 봇의 전송 채널 |
✓ pass → 그대로 멈춰도 완결입니다. 더 키우고 싶으면 2주차(원인 가설이 맞았는지 확인)로 진행합니다.
✓ pass → 여기서 멈춰도 완결입니다. 더 키우면 3주차(테스트 시간 절감 항목 제안)로 진행합니다.
1) 로트/주간 원인 인사이트 카드(해석·근거 지표·완곡 표현), 2) 다음에 먼저 볼 점검 항목 3건 + 예상 불량률 + 확신도, 3) 다음 로트 실측치로 적중 여부 검증입니다. 제안→확인 한 주기를 한 스키마에 담습니다.
{"type":"object","properties":{"period":{"type":"string"},"insights":{"type":"array","items":{"type":"object","properties":{"insight_id":{"type":"string"},"headline":{"type":"string","minLength":10},"interpretation":{"type":"string","minLength":20},"evidence_metrics":{"type":"array","items":{"type":"object","properties":{"name":{"type":"string"},"value":{"anyOf":[{"type":"number"},{"type":"string"}]}},"required":["name","value"]},"minimum":1},"hedge":{"type":["string","null"],"minLength":8}},"required":["insight_id","headline","interpretation","evidence_metrics","hedge"]},"minimum":3,"maximum":5},"proposals":{"type":"array","items":{"type":"object","properties":{"bin_id":{"type":"string"},"reason":{"type":"string","minLength":20},"predicted_fail_rate_pct":{"type":"number"},"confidence":{"type":"string","enum":["low","mid","high"]},"confidence_prob":{"type":"number"}},"required":["bin_id","reason","predicted_fail_rate_pct","confidence","confidence_prob"]},"minimum":3,"maximum":3},"verification":{"type":["object","null"],"properties":{"prior_period":{"type":"string"},"hit_rate_within_1sigma":{"type":"number"},"brier_score":{"type":"number"},"hits":{"type":"array","items":{"type":"object","properties":{"bin_id":{"type":"string"},"predicted":{"type":"number"},"actual":{"type":"number"},"within_1sigma":{"type":"boolean"},"confidence_prob":{"type":"number"},"actual_hit_binary":{"type":"number"}},"required":["bin_id","predicted","actual","within_1sigma","confidence_prob","actual_hit_binary"]}}},"required":["prior_period","hit_rate_within_1sigma","brier_score","hits"]}},"required":["period","insights","proposals","verification"]}[
{
"input_ref": "2026-03-10 M16-A (2주차 시작일. verification 은 1주차 제안 결과)",
"output": {
"period": "2026-03-10",
"insights": [
{
"insight_id": "ins_2026-03-10_01",
"headline": "불량 폭증 Top1: 리텐션 불량",
"interpretation": "리텐션 불량률 19.4%로 평균 1% 대비 약 19배입니다. 평균 마진 1.8mV로 동행 악화합니다. package 단계·고온 로트와 패턴이 유사합니다.",
"evidence_metrics": [
{
"name": "fail_rate_pct",
"value": 19.4
},
{
"name": "avg_margin_mv",
"value": 1.8
},
{
"name": "bin_category",
"value": "retention"
}
],
"hedge": "표본 14일입니다. 온도 변수 미통제라 일반화는 후속 검증이 필요합니다."
},
{
"insight_id": "ins_2026-03-10_02",
"headline": "신규 관점: recipe_change 로트에서 마진 -2mV 동행",
"interpretation": "recipe_change 이벤트 로트의 평균 마진이 평소보다 약 2mV 낮습니다. bin 차이가 아닌 공정 조건 효과 가능성이 있습니다.",
"evidence_metrics": [
{
"name": "recipe_change_margin_avg",
"value": 16
},
{
"name": "baseline_margin_avg",
"value": 18
}
],
"hedge": "이벤트 표본 3건입니다. 추세로 단정하기 어렵습니다."
},
{
"insight_id": "ins_2026-03-10_03",
"headline": "점검 후보: 고온 로트 리텐션 우선 재검 (상관 관찰)",
"interpretation": "temp_c 95 로트의 리텐션 불량률이 25 로트 대비 높게 동행 관찰됩니다. 고온 로트 우선 재검 가치가 있습니다.",
"evidence_metrics": [
{
"name": "hot_lot_retention_fail_pct",
"value": 18
},
{
"name": "margin_delta_mv",
"value": -3
}
],
"hedge": "관찰 표본 4건입니다. 인과로 단정하기 어렵고 온도 교차 1주 검증을 권합니다."
}
],
"proposals": [
{
"bin_id": "b_retention",
"reason": "리텐션 마진 악화 패턴 우선 점검. 과거 폭증 19.4%. 1σ 임계 ±5%p.",
"predicted_fail_rate_pct": 16,
"confidence": "mid",
"confidence_prob": 0.6
},
{
"bin_id": "b_vref",
"reason": "Vref 마진군은 최근 안정(0~2.6%)이라 점검 우선순위 하향 가설 검증용.",
"predicted_fail_rate_pct": 2,
"confidence": "high",
"confidence_prob": 0.85
},
{
"bin_id": "b_trcd",
"reason": "tRCD 타이밍이 recipe_change 로트에서 14% 폭증 관찰. 공정 조건 동행 점검.",
"predicted_fail_rate_pct": 11,
"confidence": "mid",
"confidence_prob": 0.6
}
],
"verification": {
"prior_period": "2026-03-03 ~ 2026-03-09 (1주차 제안)",
"hit_rate_within_1sigma": 0.67,
"brier_score": 0.18,
"hits": [
{
"bin_id": "b_vref",
"predicted": 2,
"actual": 2.6,
"within_1sigma": true,
"confidence_prob": 0.85,
"actual_hit_binary": 1
},
{
"bin_id": "b_twr",
"predicted": 1,
"actual": 1.3,
"within_1sigma": true,
"confidence_prob": 0.6,
"actual_hit_binary": 1
},
{
"bin_id": "b_retention",
"predicted": 5,
"actual": 19.4,
"within_1sigma": false,
"confidence_prob": 0.6,
"actual_hit_binary": 0
}
]
}
}
},
{
"input_ref": "2026-03-12 M16-A",
"output": {
"period": "2026-03-12",
"insights": [
{
"insight_id": "ins_2026-03-12_01",
"headline": "불량 폭증 Top1: tRCD 타이밍 불량",
"interpretation": "tRCD 타이밍 불량률 14%로 어제 리텐션과 유사하게 마진 2.1mV로 악화합니다. timing 카테고리 패턴입니다.",
"evidence_metrics": [
{
"name": "fail_rate_pct",
"value": 14
},
{
"name": "avg_margin_mv",
"value": 2.1
}
],
"hedge": "타이밍 표본 4건입니다. 일반화는 후속 검증이 필요합니다."
},
{
"insight_id": "ins_2026-03-12_02",
"headline": "고온 vs 상온 로트 불량 차이",
"interpretation": "temp_c 95 로트 평균 불량 16% / 25 로트 8%로 동행 관찰됩니다. 고온 테스트 가중 시그널입니다.",
"evidence_metrics": [
{
"name": "hot_lot_fail_pct",
"value": 16
},
{
"name": "cool_lot_fail_pct",
"value": 8
}
],
"hedge": "temp_c 결측 로트 1건은 제외했습니다."
},
{
"insight_id": "ins_2026-03-12_03",
"headline": "테스터별 편차 관찰",
"interpretation": "T-03 테스터 로트 불량 14% / T-01 2%로 동행 관찰됩니다. 설비 영향 가능성이 있습니다.",
"evidence_metrics": [
{
"name": "t03_fail_pct",
"value": 14
},
{
"name": "t01_fail_pct",
"value": 2
}
],
"hedge": "테스터 × 2주 표본 2건이라 단정하기 어렵습니다."
}
],
"proposals": [
{
"bin_id": "b_trcd",
"reason": "tRCD 타이밍 폭증 우선 점검. 과거 14%, 마진 2.1mV. 고온 로트 동행.",
"predicted_fail_rate_pct": 12,
"confidence": "high",
"confidence_prob": 0.85
},
{
"bin_id": "b_retention",
"reason": "전일 폭증 후 재검 필요. 과거 19.4%, package 단계 집중.",
"predicted_fail_rate_pct": 15,
"confidence": "high",
"confidence_prob": 0.85
},
{
"bin_id": "b_idd",
"reason": "final 단계 대기전류 안정군(0.5%) 우선순위 하향 가설 검증용.",
"predicted_fail_rate_pct": 1,
"confidence": "mid",
"confidence_prob": 0.6
}
],
"verification": {
"prior_period": "2026-03-10 ~ 2026-03-11 제안",
"hit_rate_within_1sigma": 0.67,
"brier_score": 0.19,
"hits": [
{
"bin_id": "b_retention",
"predicted": 16,
"actual": 21.7,
"within_1sigma": true,
"confidence_prob": 0.6,
"actual_hit_binary": 1
},
{
"bin_id": "b_vref",
"predicted": 2,
"actual": 0,
"within_1sigma": true,
"confidence_prob": 0.85,
"actual_hit_binary": 1
},
{
"bin_id": "b_trcd",
"predicted": 11,
"actual": 14,
"within_1sigma": false,
"confidence_prob": 0.6,
"actual_hit_binary": 0
}
]
}
}
}
]자동: (1) Zod parse, (2) evidence_metrics.name 이 입력 스키마 실제 메트릭 이름인지, (3) 단정 표현 토큰 검출 + LLM-as-judge 의미 단위 평가, (4) Brier score 자동 계산(사이클 1 reporting / 사이클 2+ KPI). predicted_fail_rate_pct 는 합성 기준 추정이라 검증 수치가 아닙니다. 수동: 검토 엔지니어 2명 비동기 라벨 → bootstrap Cohen’s κ CI 하한 ≥ 0.6, judge 사람 spot check 5%. verification 은 차 로트 실측치 자동 조인.
근거: 주요 불량 분석을 통해 최적화 솔루션을 도출합니다