관리자가 자연어로 던진 근태·규정 질문을 여러 에이전트가 나눠 맡아, 근태 기록과 규정 조항을 바탕으로 답하고 어느 레코드·어느 조항을 봤는지 함께 보여주는 도구입니다.

{"type":"object","properties":{"question":{"type":"string"},"plan":{"type":"array","items":{"type":"object","properties":{"agent":{"type":"string","enum":["attendance","policy","payroll"]},"task":{"type":"string"}},"required":["agent","task"]}},"answer":{"type":"string"},"evidence":{"type":"array","items":{"type":"object","properties":{"kind":{"type":"string","enum":["record","policy"]},"ref":{"type":"string"},"quote":{"type":"string"}},"required":["kind","ref"]}},"confidence":{"type":"number"},"needs_more_info":{"type":"boolean"}},"required":["question","plan","answer","evidence","needs_more_info"]}

[
  {
    "input_ref": "질문: '이번 주 e_C 가 주 52시간 넘겼어?'",
    "output": {
      "question": "이번 주 e_C 가 주 52시간 넘겼어?",
      "plan": [
        {
          "agent": "attendance",
          "task": "e_C 의 이번 주 근로시간 합산"
        },
        {
          "agent": "policy",
          "task": "주 52시간 한도 조항 확인"
        }
      ],
      "answer": "e_C 는 이번 주 확인된 이틀(5/4, 5/5)만으로도 근로 약 26.5시간에 연장 630분이 잡혀 주 52시간 한도를 초과할 소지가 큽니다. 남은 요일 打刻이 채워지면 더 늘어납니다.",
      "evidence": [
        {
          "kind": "record",
          "ref": "a_007",
          "quote": "08:30"
        },
        {
          "kind": "record",
          "ref": "a_008",
          "quote": "08:30"
        },
        {
          "kind": "policy",
          "ref": "p_01",
          "quote": "1주간의 근로시간은 휴게시간을 제외하고 40시간을 "
        }
      ],
      "confidence": 0.86,
      "needs_more_info": false
    }
  },
  {
    "input_ref": "질문: 'e_A 5/6 근로시간 얼마야?' (打刻 누락)",
    "output": {
      "question": "e_A 5/6 근로시간 얼마야?",
      "plan": [
        {
          "agent": "attendance",
          "task": "e_A 5/6 근로시간 조회"
        }
      ],
      "answer": "5/6 은 퇴근 打刻이 누락되어(status=missing_punch) 근로시간을 자동 산정하지 않습니다. 관리자 확인 후 보정이 필요하며 그 전에는 위반 판정을 보류합니다.",
      "evidence": [
        {
          "kind": "record",
          "ref": "a_003",
          "quote": "09:10"
        },
        {
          "kind": "policy",
          "ref": "p_09",
          "quote": "1주간의 근로시간은 휴게시간을 제외하고 40시간을 "
        }
      ],
      "confidence": 0.9,
      "needs_more_info": true
    }
  },
  {
    "input_ref": "질문: 'e_Z 연차 며칠 남았어?' (미등록 사번)",
    "output": {
      "question": "e_Z 연차 며칠 남았어?",
      "plan": [
        {
          "agent": "attendance",
          "task": "e_Z 직원·연차 정보 조회"
        }
      ],
      "answer": "e_Z 는 직원 마스터에 없는 사번이라 연차 잔여를 계산할 근거가 없습니다. 사번 등록을 확인해 주셔야 답할 수 있습니다.",
      "evidence": [],
      "confidence": 0.3,
      "needs_more_info": true
    }
  }
]

[자동 검증] 1. 출력이 스키마를 통과하는가(형식·필수 필드). 2. evidence 의 record ref 가 attendance_record 에, policy ref 가 hr_policy 에 실재하는가(지어낸 근거 차단). 3. answer 의 근로시간·연장 수치가 규칙 엔진 계산과 일치하는가(LLM 이 수치를 바꾸지 못함). 4. 데이터 결측(打刻 누락·미등록 사번)이면 needs_more_info=true 이고 단정 표현이 없는가. [수동 검증] 1. HR 검토자 페르소나 2명이 규정 판정 타당성 라벨링, bootstrap Cohen's κ(두 사람 답이 우연 이상으로 일치하는 정도) 하한 0.6 이상. 2. Ragas 답변 충실도(faithfulness: 답이 인용한 근거만으로 성립하는 정도) 채점 후 하위 5% 사람 점검.