- 01 질문하기
- 02 심사
실제 채용공고 발췌
“서비스 지표 기반 개선 및 실험(A/B 테스트)”
“빠르게 만들고, 실험하고, 개선하는 제품 중심 개발 환경”
“기술 선택 및 구조 개선에 대한 주도적인 참여”
TypeScriptReactNext.jsKotlin관계형 데이터베이스
재방문이 크게 뛴 그룹, 이번 주 전체로
장면 1 · 화요일 오전, 합류 7주차, 노크플레이스 팀 채널
대표가 실험 결과 그래프를 채널에 올리고, 곧바로 화상통화를 건다.
대표
추천 기능 켠 그룹 재방문이 확 뛰었어요. 이번 주 안에 전체로 풀죠. 숫자가 이 정도면 더 볼 것도 없을 것 같은데요.
네, 실험군 배정부터 다시 확인해볼게요.
확인해 보니 기능을 켠 그룹의 재방문이 40% 높게 나왔는데, 그 그룹엔 원래부터 자주 오던 사용자가 유독 많이 배정돼 두 그룹의 출발선이 다르다. 게다가 실험 기간이 명절 연휴와 겹쳐 그때는 원래 재방문이 오른다.
장면 2 · 늦은 오후, 타운홀에서 알게 된 노크타운팀 동료와의 메시지
이 상승, 기능 덕분이라고 봐도 될까요?
노크타운팀 동료
저희도 예전에 비슷한 상승을 보고 바로 풀었다가 편향이었던 적 있어요. 배정이 한쪽에 몰리면 숫자만 봐서는 몰라요.
노크플레이스 회고 문서를 찾아보니, 편향된 실험 결과만 믿고 전체 배포했다가 지표가 원래대로 돌아와 되돌린 기록이 있다.
대표
숫자가 이렇게 좋은데, 금요일 배포 열차 전까지는 매듭짓고 싶어요.