- 01 질문하기
- 02 심사
실제 채용공고 발췌
“금융기관이 규칙 기반 전략부터 ML·LLM을 아우르는 AI 기반 전략까지 직접 수립하고 운영할 수 있도록 지원해요.”
“에이전트·툴 콜링, human-in-the-loop 등 에이전틱 애플리케이션을 설계하고, 신뢰성이 중요한 환경에서 LLM 기능을 프로덕션에 적용해 본 경험이 있는 분”
Python언어모델규칙 엔진평가 셋검토 화면
변환 정확도가 99%인데 왜 붙잡고 있어요
장면 1 · 금요일 오전, 합류 반년째, 주간 지표 회의가 막 끝난 회의실
프로덕트 리드가 화이트보드에 적힌 99%에 동그라미를 치며 나를 부른다.
프로덕트 리드
문장을 규칙으로 바꾸는 정확도가 99%예요. 그런데도 심사 담당자가 검토 화면을 건마다 붙잡고 있어요. 자동 반영 비율을 올려서 검토를 줄입시다.
지난달 검토 기록을 먼저 열어보겠습니다.
지난달 변환 2,300건 중 사람이 고친 건은 21건이다. 그런데 그중 14건이 초과와 이상을 뒤바꾼 경계 조건이고, 우리 정확도 지표는 문장 단위 일치만 세고 있어 이 차이를 세지 않는다.
장면 2 · 같은 날 오후, 모델 검증 담당 자리
정확도 지표에 경계 조건은 어떻게 반영돼 있나요?
모델 검증 담당
지금 지표는 규칙 문장이 통째로 같은지만 봐요. 부등호 하나 뒤집힌 건 다른 문장으로 안 쳐서 통과로 잡히죠. 저희도 그건 따로 세자고 미뤄둔 상태예요.
합류 첫 달에 내가 검토 화면에서 잡아낸 건이 떠오른다. 연 소득 3천만 원 초과가 이상으로 바뀌어 있었고, 그대로 나갔으면 경계선의 신청 건이 통째로 방향을 달리했다.
프로덕트 리드
다음 주 계획에 넣을 거니까 오늘 안에 방향만 정해줘요.