- 01 질문하기
- 02 심사
실제 채용공고 발췌
“비즈니스 요구사항에 맞춰 성능(Latency), 비용(Cost), 정확도(Accuracy) 간의 트레이드오프(Trade-off)를 정교하게 조율”
“제품의 성장 단계에 맞는 최적의 LLM 오케스트레이션 전략을 수립”
“비즈니스 문제를 가장 효율적으로 풀기 위한 수단”
TypeScriptReact자동화 에이전트상태 흐름 설계언어모델
빠르고 싸게, 그러면서 정확하게, 금요일 제안서까지
장면 1 · 월요일 오전, 합류 6주차, 소회의실
신규 고객사 견적 화면이 스크린에 떠 있다. 사업개발 리드가 펜으로 비용 항목을 짚는다.
사업개발 리드
이번 견적, 처리 속도는 빠르게 보이고 건당 비용은 낮게 잡고 싶어요. 그러면서 임상이라 값은 틀리면 안 되니까, 정확도도 같이 챙겨주세요.
네, 지난 설정별 시험 기록부터 볼게요.
기록을 열어 보니 더 큰 모델로 정확도를 올리면 응답이 건당 8초로 느려지고 비용이 네 배로 뛴다.
반대로 빠르고 싼 모델은 응답이 2초로 빨라졌지만, 표본을 점검하니 핵심 값을 잘못 뽑은 게 9건 나왔다.
장면 2 · 같은 날 오후, 품질보증 담당 자리
이 견적, 어느 쪽에 무게를 둬야 할까요?
품질보증 담당
영업 쪽은 견적이라 속도랑 비용이 눈에 띄니 그걸 원해요. 저흰 값 하나 틀리면 임상에선 치명적이라 속도랑 정확을 같은 무게로 두면 안 된다고 봐요.
몇 주 전 스스로 겪은 일이 떠오른다. 빠르고 저렴한 설정으로 급히 넘겼다가 값이 하나 어긋나 재검토하고 정정 공지를 냈던 그 주였다.
사업개발 리드가 자리에서 일어나며 손목시계를 본다.
사업개발 리드
금요일 제안서 발송 전까지, 세 가지 다 챙겨서 숫자로 보여주세요.