넥스
3.0 (41)넥스트레벨스튜디오
경력근거: AI를 활용한 창작 보조 기능, 대용량 파일 업로드 및 이미지 처리, 사용자 피드백 기반 UX 개선
수집일 없음
※ 실제 산출물이 아닌 AI 예측 시안입니다.
넥스트레벨스튜디오는 AI 창작 보조 기능과 대용량 파일·이미지 처리를 핵심 경험으로 만드는 Creco 를 운영합니다. 어떤 창작 보조 기능에서 사용자가 막히는지는 Creco 의 실제 피드백 로그가 있어야 학습되고, ‘피드백 → 개선 제안 → 개선 확인’ 으로 이어지는 사슬은 다른 회사 데이터로는 그대로 만들 수 없습니다.
‘사용자 피드백 기반 UX 개선’ 이 핵심 업무입니다. 피드백을 기능 단위로 묶어 무엇을 고칠지 짚고, 그 개선이 실제로 먹혔는지까지 닫아야 ‘개선’ 이 측정됩니다.
기획·문제 정의·개발·운영·개선 전 과정을 맡습니다. 1주는 피드백 수집에서 개선 제안 리포트까지 한 루프가 끝나는 최소 단위입니다.
AI 기반 기능 R&D 와 생산성 도구를 적극 씁니다. LLM 이 ‘무엇을 고쳐야 하는가’ 까지 답하되, 단정 표현을 누그러뜨리고 사람 검토와 답이 얼마나 맞는지로 신뢰도를 올립니다.
여러 채널에 흩어진 사용자 피드백에 기능 태그와 사용자 등급을 붙여 한 화면에서 봅니다. LLM 이 불편이 큰 창작 보조 기능 Top3 와 개선 제안 3건을 근거와 함께 내고, 매일 아침 슬랙으로 리포트를 보냅니다. 1주차만으로 완성품이고, 제안이 실제 개선으로 이어졌는지 확인(2주차)·기능별 우선순위 보드(3주차)로 키웁니다.
넥스트레벨스튜디오(Creco) PE. 리뷰·문의·설문에 흩어진 피드백을 매번 손으로 모아 ‘무엇부터 고치자’ 를 정리하던 일을 끝내고, 그 개선이 실제로 효과가 있었는지까지 확인하고 싶은 사람입니다.
피드백을 한 스키마로 묶고 기능 태그·사용자 등급을 붙이면, LLM 이 (a) 불편이 큰 기능 Top3 와 (b) 개선 제안 3건을 몇 초 안에 답하고, (c) 다음 주 피드백 추이로 그 제안이 실제 개선으로 이어졌는지 확인합니다.
여러 채널 피드백을 한곳에 모아 기능 단위로 묶고, 불편 Top3 와 개선 제안을 LLM 이 만들어 매일 아침 슬랙으로 보내는 동작하는 도구입니다. 입력은 텍스트 피드백 로그 메타데이터를 가정해 1주에 혼자 완성합니다.
지난주 개선 제안 기능의 다음 주 부정 피드백 비율을 실제값과 맞춰보고, 제품 검토자 2명이 제안이 타당한지 라벨링해 신뢰도를 보여주는 대시보드입니다.
확인된 제안을 영향도·빈도로 정렬해, 다음에 무엇부터 고칠지 한눈에 보는 우선순위 보드까지 키우는 단계입니다.
한 주치 피드백 묶음을 넣으면, 불편 기능 Top3 와 개선 제안 3건이 근거와 함께 몇 초 안에 나오는 걸 시연합니다
일부러 만든 악성·결측 입력 30종(빈 본문·미등록 기능·별칭 표기)을 넣어도 출력 형식(Zod 스키마)이 한 번도 안 깨지는 걸 보여줍니다
매일 아침 슬랙으로 리포트가 자동 발송되는 걸 14일치 시연으로 보여줍니다
내가 만든 정답 30개 중 불편 기능 Top3 가 일치한 게 24개(80%)입니다. 단, 정답과 데이터를 모두 작성자가 만든 합성 기준이라 ‘성능 검증’ 이 아니라 ‘데모 조건에서의 동작’ 임을 밝힙니다
진짜 성능 검증은 여기서 멈춥니다. 위 수치는 전부 작성자가 만든 더미데이터 자가채점이며, 실제 적중률·일치도는 Creco 실 피드백 데이터와 실 제품 검토자가 있어야 측정됩니다. 이 도구는 그 검증을 바로 돌릴 수 있는 상태까지 만듭니다
이건 고객·실데이터 없이 혼자 만든 포트폴리오입니다. 모든 수치는 합성 데이터 자가채점이라 ‘성능 증명’ 이 아닙니다. 면접에서 ‘데모 조건 동작 + 실검증 준비 상태’ 로 솔직히 설명합니다
정답을 작성자가 만들었으니 잘 맞는 것이 당연합니다. 헷갈리는 결측·악성·경계 케이스를 더미에 일부러 섞어, 쉬운 문제만 푸는 게 아님을 보여줍니다
‘이 기능 때문에 이탈했다’ 는 상관일 뿐 인과가 아닐 수 있습니다. 단정 표현을 강제로 누그러뜨리고 별도 LLM 검사로 우회 표현까지 거릅니다
피드백의 기능 표기가 제각각입니다. 이름 유사도 + 임베딩으로 같은 기능으로 묶고, 못 묶은 건 추측하지 말고 ‘미분류’ 로 알립니다
실제 도입 시 달라지는 점을 명시합니다. 실 피드백 분포는 더미와 다르므로 기준값을 다시 맞춰야 하고, 제품 검토자도 실제 인력으로 교체해야 합니다(도입 단계 과제로 분리)
① 인라인 샘플 · ② seed.json 다운로드 · ③ 증강 프롬프트. 세 층 모두 동일한 schema 에서 파생.
여러 채널에서 들어온 사용자 피드백 로그입니다. 분석 LLM 이 가장 먼저 질의하는 테이블입니다. 운영 현실대로 결측(평점 미입력·본문 빈값)·미등록 신기능·별칭 표기·경계값을 일부러 섞어, 쉬운 데이터만 푸는 게 아님을 보여줍니다.
| id | date | channel | feature_raw | feature_id | rating_1to5 | text | user_tier |
|---|---|---|---|---|---|---|---|
| fb_0001 | 2026-05-04 | review | AI 창작 보조 | f_ai_assist | 2 | AI 보조가 자꾸 엉뚱한 추천을 줘요 | pro |
| fb_0002 | 2026-05-04 | inapp | 이미지 업로드 | f_upload | 1 | 대용량 파일 올리면 자주 실패합니다 | team |
| fb_0003 | 2026-05-05 | survey | AI 어시스트 | f_ai_assist | 3 | 방향은 좋은데 속도가 느려요 | free |
| fb_0004 | 2026-05-05 | cs | 이미지 렌더링 | f_render | — | 미리보기가 깨져 보입니다 | pro |
| fb_0005 | 2026-05-06 | review | 협업 코멘트(신규) | — | 4 | 코멘트 기능 새로 생겨서 편해요 | team |
아래 Zod 스키마에 맞는 창작 플랫폼 사용자 피드백 14일치 JSON 배열로 생성. 채널 4종(review/inapp/survey/cs), 사용자 등급 3종 분포 포함.
{"type":"object","properties":{"id":{"type":"string"},"date":{"type":"string"},"channel":{"type":"string","enum":["review","inapp","survey","cs"]},"feature_raw":{"type":"string"},"feature_id":{"type":["string","null"]},"rating_1to5":{"type":["number","null"]},"text":{"type":"string"},"user_tier":{"type":"string","enum":["free","pro","team"]}},"required":["id","date","channel","feature_raw","feature_id","rating_1to5","text","user_tier"]}
쉬운 데이터만 만들지 말 것. 다음 하드 케이스를 의도적으로 섞어라(쉬운 문제만 푸는 함정 회피): (1) 같은 기능의 별칭 표기 혼입('AI 창작 보조'/'AI 어시스트'/'AI 보조 추천'→feature_id f_ai_assist 로 정규화돼야 함), (2) 미등록 신기능(feature_id=null) 2~3건, (3) 결측. rating_1to5 가 null 인 행 2~3건(평점 미입력) + text 가 빈 문자열인 행 1건, (4) 경계값 rating 1 과 5 각 1건 이상. JSON 배열만.{"type":"object","properties":{"id":{"type":"string"},"date":{"type":"string"},"channel":{"type":"string","enum":["review","inapp","survey","cs"]},"feature_raw":{"type":"string"},"feature_id":{"type":["string","null"]},"rating_1to5":{"type":["number","null"]},"text":{"type":"string"},"user_tier":{"type":"string","enum":["free","pro","team"]}},"required":["id","date","channel","feature_raw","feature_id","rating_1to5","text","user_tier"]}기능 표준 ID + 별칭(같은 기능이 ‘AI 창작 보조/AI 어시스트/AI 보조 추천’ 으로 들어옴)입니다. 불편 인사이트가 별칭 차이로 분산되는 문제를 해소합니다.
| feature_id | canonical_name | aliases | area | is_ai |
|---|---|---|---|---|
| f_ai_assist | AI 창작 보조 | ["AI 어시스트","AI 보조 추천","AI 창작보조"] | ai_assist | true |
| f_upload | 파일 업로드 | ["이미지 업로드","대용량 업로드"] | upload | false |
| f_render | 이미지 렌더링 | ["이미지 처리","미리보기"] | render | false |
| f_search | 템플릿 검색 | ["템플릿 찾기"] | search | false |
| f_export | 내보내기 | ["PDF 내보내기","다운로드"] | export | false |
아래 Zod 스키마에 맞는 창작 플랫폼 feature_master 30행 JSON 배열로 생성. 같은 기능이 별칭 1~3개를 가지도록.
{"type":"object","properties":{"feature_id":{"type":"string"},"canonical_name":{"type":"string"},"aliases":{"type":"array","items":{"type":"string"}},"area":{"type":"string","enum":["ai_assist","upload","render","search","export","collab"]},"is_ai":{"type":"boolean"}},"required":["feature_id","canonical_name","aliases","area","is_ai"]}
조건: area 분포 자연스럽게, is_ai 는 ai_assist 영역만 true 비중 높게. JSON 배열만.{"type":"object","properties":{"feature_id":{"type":"string"},"canonical_name":{"type":"string"},"aliases":{"type":"array","items":{"type":"string"}},"area":{"type":"string","enum":["ai_assist","upload","render","search","export","collab"]},"is_ai":{"type":"boolean"}},"required":["feature_id","canonical_name","aliases","area","is_ai"]}| TypeScript | 프런트·백 전 구간 타입 + Zod 런타임 검증으로 LLM 출력 형식 강제 |
| React | 피드백 대시보드(불편 기능 카드 + 개선 확인 추이 차트) 렌더링 |
| Next.js | 대시보드 앱 + 인사이트 API 라우트 |
| NestJS | 피드백 ingest API + 분석 잡 + 일일 슬랙 리포트 봇 워커(cron) |
| Redis | 분석 잡 큐 + 기능 군집 결과 캐시 |
| AWS | S3(피드백 로그 적재) + Lambda(분석 워커) + EC2(대시보드 서빙) |
✓ pass → 그대로 멈춰도 완결입니다. 더 키우려면 2주차(제안이 실제 개선으로 이어졌는지 확인)로 진행합니다.
✓ pass → 여기서 멈춰도 완결입니다. 더 키우면 3주차(기능별 개선 우선순위 보드)로 진행합니다.
1) 기능별 불편 인사이트 카드(해석·근거 지표·완곡 표현), 2) 개선 제안 3건 + 예상 부정 피드백 비율 + 확신도, 3) 다음 주 실측치로 개선 적중 검증. 제안→확인 한 주기를 한 스키마에 담습니다.
{"type":"object","properties":{"period":{"type":"string"},"insights":{"type":"array","items":{"type":"object","properties":{"insight_id":{"type":"string"},"feature_id":{"type":"string"},"headline":{"type":"string","minLength":10},"interpretation":{"type":"string","minLength":20},"evidence_metrics":{"type":"array","items":{"type":"object","properties":{"name":{"type":"string"},"value":{"anyOf":[{"type":"number"},{"type":"string"}]}},"required":["name","value"]},"minItems":1},"hedge":{"type":["string","null"],"minLength":8}},"required":["insight_id","feature_id","headline","interpretation","evidence_metrics","hedge"]},"minItems":3,"maxItems":5},"proposals":{"type":"array","items":{"type":"object","properties":{"feature_id":{"type":"string"},"reason":{"type":"string","minLength":20},"predicted_negative_pct":{"type":"number"},"confidence":{"type":"string","enum":["low","mid","high"]},"confidence_prob":{"type":"number"}},"required":["feature_id","reason","predicted_negative_pct","confidence","confidence_prob"]},"minItems":3,"maxItems":3},"verification":{"type":["object","null"],"properties":{"prior_period":{"type":"string"},"hit_rate_within_1sigma":{"type":"number"},"brier_score":{"type":"number"},"hits":{"type":"array","items":{"type":"object","properties":{"feature_id":{"type":"string"},"predicted":{"type":"number"},"actual":{"type":"number"},"within_1sigma":{"type":"boolean"},"confidence_prob":{"type":"number"}},"required":["feature_id","predicted","actual","within_1sigma","confidence_prob"]}}},"required":["prior_period","hit_rate_within_1sigma","brier_score","hits"]}},"required":["period","insights","proposals","verification"]}[
{
"input_ref": "2026-05-11 주간 (verification 은 직전 주 제안 결과)",
"output": {
"period": "2026-05-11",
"insights": [
{
"insight_id": "ins_2026-05-11_01",
"feature_id": "f_ai_assist",
"headline": "불편 1위: AI 창작 보조 결과 불일치",
"interpretation": "부정 피드백 비율 58%. 평균 24% 대비 2배 이상. ‘결과가 매번 다르다’ 류 코멘트 다수.",
"evidence_metrics": [
{
"name": "negative_pct",
"value": 58
},
{
"name": "feedback_count",
"value": 31
}
],
"hedge": "표본 14일. 별칭 정규화 후 집계라 분류 오차 가능."
},
{
"insight_id": "ins_2026-05-11_02",
"feature_id": "f_upload",
"headline": "대용량 업로드 실패 반복",
"interpretation": "team 등급 비중 높음. 500MB 이상 언급 집중.",
"evidence_metrics": [
{
"name": "negative_pct",
"value": 47
},
{
"name": "team_tier_share",
"value": 0.7
}
],
"hedge": "팀 등급 표본 편중. 일반화 주의."
},
{
"insight_id": "ins_2026-05-11_03",
"feature_id": "f_render",
"headline": "이미지 렌더링 품질 불만",
"interpretation": "고화질 저장·미리보기 깨짐 동행 관찰.",
"evidence_metrics": [
{
"name": "negative_pct",
"value": 41
}
],
"hedge": "결측 평점 행 제외 후 집계."
}
],
"proposals": [
{
"feature_id": "f_ai_assist",
"reason": "결과 재현성 옵션(seed 고정) 추가로 ‘매번 다름’ 불만 완화. 과거 부정 58%.",
"predicted_negative_pct": 40,
"confidence": "mid",
"confidence_prob": 0.6
},
{
"feature_id": "f_upload",
"reason": "분할 업로드·재시도 도입. team 등급 대용량 실패 집중 대응.",
"predicted_negative_pct": 28,
"confidence": "high",
"confidence_prob": 0.82
},
{
"feature_id": "f_render",
"reason": "고화질 내보내기 경로 분리. 미리보기 캐시 무효화.",
"predicted_negative_pct": 30,
"confidence": "mid",
"confidence_prob": 0.6
}
],
"verification": {
"prior_period": "2026-05-04 ~ 2026-05-10 제안",
"hit_rate_within_1sigma": 0.67,
"brier_score": 0.19,
"hits": [
{
"feature_id": "f_ai_assist",
"predicted": 42,
"actual": 44,
"within_1sigma": true,
"confidence_prob": 0.6
},
{
"feature_id": "f_upload",
"predicted": 30,
"actual": 27,
"within_1sigma": true,
"confidence_prob": 0.82
},
{
"feature_id": "f_search",
"predicted": 22,
"actual": 33,
"within_1sigma": false,
"confidence_prob": 0.6
}
]
}
}
},
{
"input_ref": "2026-05-18 주간",
"output": {
"period": "2026-05-18",
"insights": [
{
"insight_id": "ins_2026-05-18_01",
"feature_id": "f_export",
"headline": "내보내기 글자 깨짐 급증",
"interpretation": "PDF 내보내기 폰트 임베딩 이슈 의심. 부정 비율 52%.",
"evidence_metrics": [
{
"name": "negative_pct",
"value": 52
}
],
"hedge": "폰트 종류별 분해는 후속 검증 필요."
},
{
"insight_id": "ins_2026-05-18_02",
"feature_id": "f_ai_assist",
"headline": "재현성 옵션 후 불만 감소 관찰",
"interpretation": "seed 고정 배포 주 부정 비율 44%로 하락 동행.",
"evidence_metrics": [
{
"name": "negative_pct",
"value": 44
},
{
"name": "delta_pct",
"value": -14
}
],
"hedge": "배포 외 변수 미통제. 인과 단정 어려움."
},
{
"insight_id": "ins_2026-05-18_03",
"feature_id": "f_search",
"headline": "템플릿 검색 정확도 불만 지속",
"interpretation": "free 등급 비중 높음. 검색어-결과 불일치 언급.",
"evidence_metrics": [
{
"name": "negative_pct",
"value": 38
}
],
"hedge": "free 표본 편중."
}
],
"proposals": [
{
"feature_id": "f_export",
"reason": "폰트 임베딩 강제 + 미리보기 일치 검사. 부정 52% 대응.",
"predicted_negative_pct": 30,
"confidence": "mid",
"confidence_prob": 0.6
},
{
"feature_id": "f_search",
"reason": "검색 임베딩 교체 + 동의어 사전. free 등급 검색 불만 대응.",
"predicted_negative_pct": 26,
"confidence": "mid",
"confidence_prob": 0.6
},
{
"feature_id": "f_ai_assist",
"reason": "재현성 옵션 기본값화. 추가 하락 기대.",
"predicted_negative_pct": 36,
"confidence": "high",
"confidence_prob": 0.8
}
],
"verification": {
"prior_period": "2026-05-11 ~ 2026-05-17 제안",
"hit_rate_within_1sigma": 0.67,
"brier_score": 0.17,
"hits": [
{
"feature_id": "f_ai_assist",
"predicted": 40,
"actual": 44,
"within_1sigma": true,
"confidence_prob": 0.6
},
{
"feature_id": "f_upload",
"predicted": 28,
"actual": 25,
"within_1sigma": true,
"confidence_prob": 0.82
},
{
"feature_id": "f_render",
"predicted": 30,
"actual": 39,
"within_1sigma": false,
"confidence_prob": 0.6
}
]
}
}
},
{
"input_ref": "2026-05-25 주간",
"output": {
"period": "2026-05-25",
"insights": [
{
"insight_id": "ins_2026-05-25_01",
"feature_id": null,
"headline": "기능을 특정 못 한 피드백이 늘었습니다",
"interpretation": "feature_id 가 비어 있는 피드백이 늘어 어느 기능 불만인지 묶지 못했습니다. 수집 화면에서 기능 표기를 받아야 합니다.",
"evidence_metrics": [
{
"name": "unmapped_feedback",
"value": 9
}
],
"hedge": "미분류 건을 뺀 집계라 순위가 흔들릴 수 있습니다."
}
],
"proposals": [
{
"feature_id": "f_export",
"reason": "폰트 임베딩 이슈가 두 주 이어져 우선 처리합니다",
"expected_effect": "내보내기 불만 감소",
"confidence": "mid"
}
],
"verification": {
"prior_period": "2026-05-18 제안",
"hit_rate": 0.5,
"hits": [
{
"feature_id": "f_export",
"predicted": "불만 감소",
"actual": "감소",
"hit": true
},
{
"feature_id": "f_search",
"predicted": "정확도 개선",
"actual": "변화 없음",
"hit": false
}
]
}
}
}
]자동: (1) Zod parse, (2) evidence_metrics.name 이 입력 스키마 실제 메트릭 이름, (3) 단정 표현 토큰 검출 + LLM-as-judge 의미 평가, (4) Brier score 자동 계산. predicted_negative_pct 는 합성 기준 추정값이라 검증된 수치가 아님을 카드 hedge 에 드러냅니다. 수동: 제품 검토자 2명 비동기 라벨 → bootstrap Cohen’s κ CI 하한 ≥ 0.6, spot check 5%. verification 은 차주 실측치 자동 조인.
근거: AI를 활용한 창작 보조 기능, 대용량 파일 업로드 및 이미지 처리, 사용자 피드백 기반 UX 개선