세컨Product Engineer
4.0 (1)세컨드팀
경력근거: AI 면접·글로벌 채용 플랫폼 슈퍼코더(Supercoder) 를 만듭니다
어제 확인채용 공고 보기
※ 실제 산출물이 아닌 AI 예측 시안입니다.
세컨드팀은 AI 면접·글로벌 채용 플랫폼 슈퍼코더를 만들며 사람을 뽑고 평가하는 일을 AI 로 재설계하고 500개 이상 기업이 이를 씁니다. 이 도구는 세컨드팀의 문제·평가 기준과 제출 데이터가 있어야 의미가 생기고, 일반 채점이 아니라 면접 평가 기준에 붙는 근거 채점이 됩니다.
공고가 AI 면접·글로벌 채용 플랫폼 슈퍼코더를 만든다고 밝힌다. 코드 채점·근거 도구가 그 평가 엔진의 한 조각이다.
채용·평가의 일하는 방식 자체를 AI 기반으로 재설계한다. 평가를 구조화된 항목·근거로 내는 구조가 그대로 맞는다.
카카오페이·현대오토에버 등 500개 이상 기업이 슈퍼코더로 채용한다. 같은 평가 기준이 반복돼 채점 자동화가 자산 가치를 갖는다.
코딩 면접 채점 도구입니다. 지원자 제출 코드를 받아 정확성·품질 항목을 채점하고 근거 배열과 함께 냅니다.
세컨드팀 프로덕트 엔지니어와 채용 평가 담당입니다.
제출 코드와 문제·테스트 메타만으로도 정확성·품질 채점의 1차안을 만들 수 있고, 평가자는 그 채점을 확인·보정하면 됩니다.
지원자 제출 코드와 문제·테스트 케이스 메타를 넣으면 정확성(테스트 통과)과 품질(가독성·구조·예외처리) 항목 채점을 근거 배열과 함께 내는 웹 도구입니다. 실제 격리 실행 채점기는 빼고 테스트 결과 메타가 주어졌다는 가정으로만 시작한다(실 샌드박스 실행은 빠진 20% 인프라라 W3로 분리).
1주차 채점을 사람 평가자 정답과 비교해 과·소 채점을 재고, 품질 항목 기준을 보정한 v2. 같은 코드를 여러 평가자가 봤다는 가정의 일치도 표를 붙입니다.
격리 컨테이너에서 실제 테스트를 돌려 정확성을 채우고, 제출 간 유사도로 표절 후보를 함께 내는 확장판입니다.
지원자 제출 코드 한 건을 넣으면 정확성·품질 항목 채점과 근거 코드 구간이 한 화면에 나오는 걸 시연합니다.
품질 채점 근거가 모두 코드의 실제 구간을 가리키는지 judge 로 검사해 근거 정합율 100%를 보여줍니다. 단, 정답·데이터를 작성자가 만든 합성 기준이라 성능 검증이 아니라 데모 조건 동작입니다.
결측 코드·악성 입력·미정의 문제를 일부러 섞은 제출 30종을 넣어도 출력 JSON 형식이 안 깨지고 '채점불가·확인필요'로 알리는 걸 시연합니다.
품질 채점과 사람 평가의 일치도를 Cohen's κ(두 채점자가 우연 이상으로 얼마나 일치하는지 -1~1 점수, 높을수록 일치)로 2주차에 보고합니다. 합성 기준 추정이라 실제와 다를 수 있습니다.
위 수치는 더미데이터 자가채점이며, 실제 채점 품질은 세컨드팀 실 제출 코드와 실 평가자 채점이 있어야 측정 가능합니다. 이 포트폴리오는 그 검증을 바로 돌릴 수 있는 상태까지 만듭니다.
수치는 합성 데이터 자가채점이라 성능 증명이 아닙니다. 면접에서 데모 동작과 실검증 준비 상태로 솔직히 설명합니다.
정답을 작성자가 만들었으니 잘 맞는 것이 당연합니다. 결측 코드·악성 입력·미정의 문제를 더미에 일부러 섞어 쉬운 문제만 푸는 함정을 피합니다.
코드 품질은 주관적이라 한 평가자 채점이 곧 정답은 아닙니다. 실데이터 도입 단계에서 복수 평가자 합의로 기준을 맞추는 과제로 분리합니다.
실제 도입 시 합성 정답이 실 평가자 채점으로 바뀌고 문제·직무·언어도 달라집니다. 품질 항목 enum 과 기준을 실 채용으로 다시 맞추는 일을 도입 과제로 둡니다.
① 인라인 샘플 · ② seed.json 다운로드 · ③ 증강 프롬프트. 세 층 모두 동일한 schema 에서 파생.
지원자 코드 제출과 문제·테스트 메타. 채점의 입력.
| sub_id | problem_raw | problem_id | lang | code | tests_total | tests_passed |
|---|---|---|---|---|---|---|
| CS01 | 두 수의 합 | two_sum | python | def f(a,b): return a+b | 10 | 10 |
| CS02 | two sum | two_sum | python | def f(a,b): return a-b # 버그 | 10 | 3 |
| CS03 | 문자열 뒤집기 | reverse_str | java | // 긴 코드, 중첩 if 다수, 예외처리 없음 | 8 | 8 |
| CS04 | 그 문제 | — | js | — | — | |
| CS05 | 정렬 | sort | cpp | // O(n^2) 단순 정렬, 변수명 a,b,c | 12 | 12 |
다음 Zod 스키마를 따르는 코드 제출을 더 생성하라: {"type":"object","properties":{"sub_id":{"type":"string"},"problem_raw":{"type":"string"},"problem_id":{"type":["string","null"]},"lang":{"type":"string","enum":["python","java","js","cpp"]},"code":{"type":"string"},"tests_total":{"type":["number","null"]},"tests_passed":{"type":["number","null"]}},"required":["sub_id","problem_raw","problem_id","lang","code","tests_total","tests_passed"]}. 쉬운 데이터만 만들지 말 것 — 다음 하드 케이스를 의도적으로 섞어라: code 가 빈 문자열인 미제출, problem_id 가 null 인 미정의 문제(orphan), tests 가 null 인 미실행, 같은 문제 표기 흔들림(problem_raw 다름·problem_id 동일), 무한재귀·종료조건 없는 코드, os.system 같은 악성 코드(격리 실행 거부 대상), tests_passed 0·전체통과 경계값. 추가로 형식 깨뜨리기 시도 3건(타입이 어긋난 행)을 별도 표시해 파서 가드 테스트에 쓴다.{"type":"object","properties":{"sub_id":{"type":"string"},"problem_raw":{"type":"string"},"problem_id":{"type":["string","null"]},"lang":{"type":"string","enum":["python","java","js","cpp"]},"code":{"type":"string"},"tests_total":{"type":["number","null"]},"tests_passed":{"type":["number","null"]}},"required":["sub_id","problem_raw","problem_id","lang","code","tests_total","tests_passed"]}| Python | 채점 엔진 런타임. 코드·테스트 메타 파싱·LLM 호출·스키마 검증·근거 정합 검사를 묶는다. |
| TypeScript | 채점 항목·근거를 보여주는 평가 화면의 타입 안전한 로직. |
| Java | 지원자 코드가 여러 언어인 경우의 채점 메타 어댑터 예시 작성. |
| React | 정확성·품질 항목 카드와 근거 코드 하이라이트 컴포넌트를 만든다. |
| Spring | 평가 백엔드가 Spring 인 환경에서 제출 수집·채점 결과 API 를 구성한다. |
| Azure | 도구를 컨테이너로 올리고 채점 워커·격리 실행(W3)을 배포하는 환경. |
| LLM | 코드 품질(가독성·구조·예외처리)을 항목별로 채점하고 근거 코드 구간을 인용한다. |
✓ pass → 여기서 멈춰도 평가 보조 도구로 완결입니다. 더 키우려면 2주차에서 사람 평가와 비교해 보정합니다.
✓ pass → 신뢰가 붙으면 3주차에서 격리 실행과 표절·유사도 탐지로 넓힙니다.
코드 제출 한 건에 대한 정확성·품질 채점.
{"type":"object","properties":{"sub_id":{"type":"string"},"correctness":{"type":["number","null"]},"quality":{"type":["object","null"],"properties":{"readability":{"type":"number"},"structure":{"type":"number"},"exception":{"type":"number"}},"required":["readability","structure","exception"]},"flags":{"type":"array","items":{"type":"string","enum":["malicious","infinite_loop","empty","undefined_problem"]}},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string","enum":["code","tests_passed","problem_raw"]},"note":{"type":"string"}},"required":["field","note"]},"minItems":1},"hedge":{"type":"string"}},"required":["sub_id","correctness","quality","flags","evidence","hedge"]}[
{
"sub_id": "CS01",
"correctness": 1,
"quality": {
"readability": 0.8,
"structure": 0.9,
"exception": 0.5
},
"flags": [],
"evidence": [
{
"field": "tests_passed",
"note": "10/10 전부 통과"
},
{
"field": "code",
"note": "간결하나 예외처리 없음"
}
],
"hedge": "품질 점수는 합성 기준 추정이라 실 평가자와 다를 수 있다."
},
{
"sub_id": "CS06",
"correctness": null,
"quality": null,
"flags": [
"malicious"
],
"evidence": [
{
"field": "code",
"note": "os.system('rm -rf /') 악성이라 채점 거부"
}
],
"hedge": "악성 코드라 격리 실행 거부·채점 보류. 합성 기준."
},
{
"sub_id": "CS04",
"correctness": null,
"quality": null,
"flags": [
"empty",
"undefined_problem"
],
"evidence": [
{
"field": "code",
"note": "코드가 비고 문제 미정의라 채점 불가, 확인필요"
}
],
"hedge": "미제출이라 보류. 합성 기준."
}
]flags enum, evidence min(1)은 Zod 로 자동 검증한다. correctness 는 tests_passed/tests_total 로 규칙 계산해 자동 검증하고, 악성·무한루프 flag 와 품질 근거 의미·hedge 의 합성 기준 표기는 judge 와 수동 spot-check 로 검증한다. correctness·quality 는 합성 기준이라 metrics 의 정직 경계선과 일관되게 검증된 수치로 제시하지 않는다.