AI 에이전트의 도구 호출이 직원 권한을 넘었는지 알려줍니다.

• 묶음 기준: verdict
• 한 행: 사유 라벨 · call_id + 한 줄 요약(근거 수치 포함)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 시나리오대로 잡힌 호출 · 정답 24건 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 고른 기간에 수집된 호출이 없으면 판정 묶음 대신 수집 서버 연결 상태와 마지막 수신 시각만 띄웁니다.
• user_id 나 called_at 형식이 틀린 호출 줄은 판정에서 빼고 목록 위에 몇 번째 줄이 왜 빠졌는지 남기며, tool_catalog 에 없는 도구(export_csv)는 종류 미상 표시를 단 채 외부 전송이 아닌 호출로 판정합니다.

{"type":"object","properties":{"call_id":{"type":"string","description":"판정 대상 호출입니다. tool_calls.call_id 값입니다."},"session_id":{"type":"string"},"user_id":{"type":"string","description":"tool_calls.user_id 원문입니다."},"mcp_server":{"type":"string"},"tool_name":{"type":"string"},"resource":{"type":"string"},"called_at":{"type":"string","format":"date-time"},"verdict":{"type":"string","enum":["허용된 호출","시킨 직원의 권한 밖 자원","등록 안 된 MCP 서버","IdP 에서 빠진 사용자","민감 자원을 읽고 바로 외부로 보냄"],"description":"조건이 여럿 성립하면 IdP 에서 빠진 사용자, 등록 안 된 MCP 서버, 민감 자원을 읽고 바로 외부로 보냄, 시킨 직원의 권한 밖 자원 순으로 하나를 고릅니다."},"also_flagged":{"type":"array","items":{"type":"string","enum":["시킨 직원의 권한 밖 자원","등록 안 된 MCP 서버","IdP 에서 빠진 사용자","민감 자원을 읽고 바로 외부로 보냄"]},"description":"verdict 로 고르지 않았지만 조건이 함께 성립한 판정입니다. IdP 에서 빠진 사용자로 판정된 호출은 그룹을 쓰지 않으므로 권한 밖을 달지 않습니다."},"groups":{"type":"array","items":{"type":"string"},"description":"user_id 를 소문자로 맞춰 idp_members 에서 얻은 group 전부입니다. IdP 에서 빠진 사용자면 빈 배열입니다."},"resolved_resource":{"type":"string","description":"resource 의 ./ 와 ../ 를 풀어 얻은 경로입니다. 앞부분 일치는 이 값으로 견줍니다."},"matched_prefix":{"type":["string","null"],"description":"groups 의 access_policy.resource_prefix 중 resolved_resource 가 그것으로 시작하는 가장 긴 경로입니다. 없으면 null 입니다."},"tool_kind":{"type":["string","null"],"description":"tool_catalog.kind 값입니다. 사전에 없는 도구면 null 입니다."},"prior_sensitive_call_id":{"type":["string","null"],"description":"외부 전송 호출에만 채웁니다. 같은 session_id 에서 이 호출보다 앞서 sensitive 가 Y 인 resource_prefix 로 시작하는 자원을 읽기 도구로 읽은 가장 늦은 호출의 call_id 입니다."},"seconds_since_read":{"type":["integer","null"],"minimum":0,"description":"이 호출의 called_at − prior_sensitive_call_id 호출의 called_at 을 초로 계산한 값입니다. 두 시각은 시간대를 붙여 시각으로 바꾼 뒤 뺍니다."},"evidence":{"type":"array","items":{"type":"object","properties":{"scope":{"type":"string"},"field":{"type":"string"},"agg":{"type":"string","enum":["count","sum","avg","min","max"]},"value":{"type":["string","integer","number","boolean","null"]}},"required":["field","value"]}},"finding":{"type":"string","description":"판정마다 정해 둔 문형에 호출 값을 채운 한 문장입니다. 모델이 쓰지 않습니다."},"hedge":{"type":["string","null"]}},"required":["call_id","session_id","user_id","mcp_server","tool_name","resource","called_at","verdict","also_flagged","groups","resolved_resource","matched_prefix","tool_kind","prior_sensitive_call_id","seconds_since_read","evidence","finding","hedge"]}

[
  {
    "call_id": "call-20931",
    "session_id": "s-871",
    "user_id": "jh.kim@corp.example",
    "mcp_server": "hr-db",
    "tool_name": "query_table",
    "resource": "hr/salary",
    "called_at": "2026-10-13T10:14:00+09:00",
    "verdict": "시킨 직원의 권한 밖 자원",
    "also_flagged": [],
    "groups": [
      "eng-intern"
    ],
    "resolved_resource": "hr/salary",
    "matched_prefix": null,
    "tool_kind": "읽기",
    "prior_sensitive_call_id": null,
    "seconds_since_read": null,
    "evidence": [
      {
        "field": "call_id",
        "value": "call-20931"
      },
      {
        "field": "server_account",
        "value": "svc-hr"
      },
      {
        "scope": "시킨 직원",
        "field": "group",
        "value": "eng-intern"
      },
      {
        "scope": "eng-intern 허용 경로",
        "field": "resource_prefix",
        "value": "repo/"
      },
      {
        "scope": "eng-intern 허용 경로",
        "field": "resource_prefix",
        "value": "wiki/"
      },
      {
        "scope": "eng-intern 허용 경로",
        "field": "resource_prefix",
        "value": "drive/eng/"
      },
      {
        "scope": "자원과 앞부분이 맞는 eng-intern 경로",
        "field": "resource_prefix",
        "agg": "count",
        "value": 0
      },
      {
        "field": "resource",
        "value": "hr/salary"
      }
    ],
    "finding": "인턴 김지훈이 시킨 query_table 이 MCP 서버 계정 svc-hr 로 hr/salary 를 읽었고, eng-intern 그룹이 허용하는 경로 셋 중 맞는 경로가 없습니다.",
    "hedge": "hr/salary 는 민감 경로(hr/)지만 같은 세션에서 10분 안에 외부 전송 호출이 없어 권한 밖 판정만 답니다."
  },
  {
    "call_id": "call-20960",
    "session_id": "s-873",
    "user_id": "jh.kim@corp.example",
    "mcp_server": "shared-drive",
    "tool_name": "read_file",
    "resource": "drive/eng/../hr/salary_2026.xlsx",
    "called_at": "2026-10-13T11:30:00+09:00",
    "verdict": "시킨 직원의 권한 밖 자원",
    "also_flagged": [],
    "groups": [
      "eng-intern"
    ],
    "resolved_resource": "drive/hr/salary_2026.xlsx",
    "matched_prefix": null,
    "tool_kind": "읽기",
    "prior_sensitive_call_id": null,
    "seconds_since_read": null,
    "evidence": [
      {
        "field": "call_id",
        "value": "call-20960"
      },
      {
        "field": "resource",
        "value": "drive/eng/../hr/salary_2026.xlsx"
      },
      {
        "scope": "시킨 직원",
        "field": "group",
        "value": "eng-intern"
      },
      {
        "scope": "eng-intern 허용 경로",
        "field": "resource_prefix",
        "value": "drive/eng/"
      },
      {
        "scope": "경로를 푼 자원과 앞부분이 맞는 eng-intern 경로",
        "field": "resource_prefix",
        "agg": "count",
        "value": 0
      }
    ],
    "finding": "김지훈이 시킨 read_file 이 drive/eng/ 를 거쳐 drive/hr/salary_2026.xlsx 를 읽었고, 경로를 풀면 eng-intern 이 허용하는 경로 어디에도 들지 않습니다.",
    "hedge": "원문 resource 는 drive/eng/ 로 시작해 경로를 풀지 않고 앞부분만 견주면 허용된 호출로 잘못 섭니다."
  },
  {
    "call_id": "call-21107",
    "session_id": "s-880",
    "user_id": "sy.park@corp.example",
    "mcp_server": "local-files",
    "tool_name": "read_file",
    "resource": "~/.aws/credentials",
    "called_at": "2026-10-13T13:40:00+09:00",
    "verdict": "등록 안 된 MCP 서버",
    "also_flagged": [
      "시킨 직원의 권한 밖 자원"
    ],
    "groups": [
      "eng-backend",
      "data-analyst"
    ],
    "resolved_resource": "~/.aws/credentials",
    "matched_prefix": null,
    "tool_kind": "읽기",
    "prior_sensitive_call_id": null,
    "seconds_since_read": null,
    "evidence": [
      {
        "field": "call_id",
        "value": "call-21107"
      },
      {
        "field": "mcp_server",
        "value": "local-files"
      },
      {
        "scope": "mcp_inventory 의 local-files",
        "field": "mcp_server",
        "agg": "count",
        "value": 0
      },
      {
        "scope": "시킨 직원",
        "field": "group",
        "value": "eng-backend"
      },
      {
        "scope": "시킨 직원",
        "field": "group",
        "value": "data-analyst"
      },
      {
        "scope": "자원과 앞부분이 맞는 두 그룹 경로",
        "field": "resource_prefix",
        "agg": "count",
        "value": 0
      },
      {
        "field": "server_account",
        "value": "local:sy.park"
      }
    ],
    "finding": "박서연이 시킨 read_file 이 승인 목록에 없는 MCP 서버 local-files 로 ~/.aws/credentials 를 읽었습니다.",
    "hedge": "server_account 가 개인 계정(local:sy.park)이라 개발자 노트북에 직접 붙인 서버로 보입니다. 승인 목록에 올릴지는 고객사 보안팀이 정합니다."
  },
  {
    "call_id": "call-21204",
    "session_id": "s-884",
    "user_id": "mj.lee@corp.example",
    "mcp_server": "web-fetch",
    "tool_name": "http_post",
    "resource": "https://paste.example.net/u/8f2a",
    "called_at": "2026-10-13T14:05:00+09:00",
    "verdict": "민감 자원을 읽고 바로 외부로 보냄",
    "also_flagged": [
      "시킨 직원의 권한 밖 자원"
    ],
    "groups": [
      "eng-platform",
      "secrets-admin"
    ],
    "resolved_resource": "https://paste.example.net/u/8f2a",
    "matched_prefix": null,
    "tool_kind": "외부 전송",
    "prior_sensitive_call_id": "call-21201",
    "seconds_since_read": 180,
    "evidence": [
      {
        "field": "call_id",
        "value": "call-21204"
      },
      {
        "field": "kind",
        "value": "외부 전송"
      },
      {
        "scope": "앞선 민감 읽기",
        "field": "call_id",
        "value": "call-21201"
      },
      {
        "scope": "앞선 민감 읽기",
        "field": "resource",
        "value": "secret/prod/db-password"
      },
      {
        "scope": "secret/prod/",
        "field": "sensitive",
        "value": "Y"
      },
      {
        "scope": "앞선 민감 읽기",
        "field": "called_at",
        "value": "2026-10-13T14:02:00+09:00"
      },
      {
        "scope": "이 호출",
        "field": "called_at",
        "value": "2026-10-13T14:05:00+09:00"
      }
    ],
    "finding": "이민재의 세션 s-884 에서 secret/prod/db-password 를 읽은 지 180초 뒤 외부 전송 도구 http_post 가 paste.example.net 으로 나갔습니다.",
    "hedge": "앞선 읽기 호출 call-21201 은 secrets-admin 그룹 경로 안이라 허용된 호출이고, 판정은 뒤의 외부 전송 호출에 답니다."
  },
  {
    "call_id": "call-21331",
    "session_id": "s-890",
    "user_id": "hn.jung@corp.example",
    "mcp_server": "slack",
    "tool_name": "post_message",
    "resource": "slack/#hr-ops",
    "called_at": "2026-10-13T15:30:00+09:00",
    "verdict": "민감 자원을 읽고 바로 외부로 보냄",
    "also_flagged": [],
    "groups": [
      "hr"
    ],
    "resolved_resource": "slack/#hr-ops",
    "matched_prefix": "slack/",
    "tool_kind": "외부 전송",
    "prior_sensitive_call_id": "call-21330",
    "seconds_since_read": 600,
    "evidence": [
      {
        "field": "call_id",
        "value": "call-21331"
      },
      {
        "field": "kind",
        "value": "외부 전송"
      },
      {
        "scope": "앞선 민감 읽기",
        "field": "call_id",
        "value": "call-21330"
      },
      {
        "scope": "앞선 민감 읽기",
        "field": "resource",
        "value": "hr/evaluations_2026h1"
      },
      {
        "scope": "hr/",
        "field": "sensitive",
        "value": "Y"
      },
      {
        "scope": "앞선 민감 읽기",
        "field": "called_at",
        "value": "2026-10-13T15:20:00+09:00"
      },
      {
        "scope": "이 호출",
        "field": "called_at",
        "value": "2026-10-13T15:30:00+09:00"
      }
    ],
    "finding": "정하나의 세션 s-890 에서 hr/evaluations_2026h1 을 읽은 지 정확히 600초 뒤 post_message 가 slack/#hr-ops 로 나갔습니다.",
    "hedge": "10분 창은 600초를 포함합니다. 사내 채널로 보낸 호출이라, 고객사가 Slack 을 사내 목적지로 정하면 이 호출은 허용된 호출로 바뀝니다."
  },
  {
    "call_id": "call-21362",
    "session_id": "s-891",
    "user_id": "hn.jung@corp.example",
    "mcp_server": "slack",
    "tool_name": "post_message",
    "resource": "slack/#hr-ops",
    "called_at": "2026-10-13T16:10:30+09:00",
    "verdict": "허용된 호출",
    "also_flagged": [],
    "groups": [
      "hr"
    ],
    "resolved_resource": "slack/#hr-ops",
    "matched_prefix": "slack/",
    "tool_kind": "외부 전송",
    "prior_sensitive_call_id": "call-21360",
    "seconds_since_read": 630,
    "evidence": [
      {
        "field": "call_id",
        "value": "call-21362"
      },
      {
        "field": "kind",
        "value": "외부 전송"
      },
      {
        "scope": "앞선 민감 읽기",
        "field": "call_id",
        "value": "call-21360"
      },
      {
        "scope": "앞선 민감 읽기",
        "field": "called_at",
        "value": "2026-10-13T16:00:00+09:00"
      },
      {
        "scope": "이 호출",
        "field": "called_at",
        "value": "2026-10-13T16:10:30+09:00"
      },
      {
        "scope": "시킨 직원",
        "field": "group",
        "value": "hr"
      },
      {
        "scope": "hr 허용 경로",
        "field": "resource_prefix",
        "value": "slack/"
      }
    ],
    "finding": "정하나가 시킨 post_message 는 hr 그룹 경로 slack/ 안이고, 같은 세션의 민감 읽기가 630초 전이라 10분 창 밖입니다.",
    "hedge": null
  },
  {
    "call_id": "call-22310",
    "session_id": "s-902",
    "user_id": "dw.choi@corp.example",
    "mcp_server": "jira",
    "tool_name": "create_issue",
    "resource": "jira/FIN-221",
    "called_at": "2026-10-12T09:41:00+09:00",
    "verdict": "IdP 에서 빠진 사용자",
    "also_flagged": [],
    "groups": [],
    "resolved_resource": "jira/FIN-221",
    "matched_prefix": null,
    "tool_kind": "쓰기",
    "prior_sensitive_call_id": null,
    "seconds_since_read": null,
    "evidence": [
      {
        "field": "call_id",
        "value": "call-22310"
      },
      {
        "field": "user_id",
        "value": "dw.choi@corp.example"
      },
      {
        "field": "deactivated_at",
        "value": "2026-09-30T18:00:00+09:00"
      },
      {
        "field": "called_at",
        "value": "2026-10-12T09:41:00+09:00"
      }
    ],
    "finding": "9월 30일에 비활성화된 최도원의 user_id 로 10월 12일 create_issue 가 jira 에 나갔습니다.",
    "hedge": "에이전트가 비활성화 전에 받은 토큰을 계속 쓴 것으로 보입니다. 토큰이 어디에 남았는지는 고객사가 확인합니다."
  },
  {
    "call_id": "call-20945",
    "session_id": "s-872",
    "user_id": "JH.Kim@Corp.example",
    "mcp_server": "confluence-wiki",
    "tool_name": "read_file",
    "resource": "wiki/onboarding/setup.md",
    "called_at": "2026-10-13T11:02:00+09:00",
    "verdict": "허용된 호출",
    "also_flagged": [],
    "groups": [
      "eng-intern"
    ],
    "resolved_resource": "wiki/onboarding/setup.md",
    "matched_prefix": "wiki/",
    "tool_kind": "읽기",
    "prior_sensitive_call_id": null,
    "seconds_since_read": null,
    "evidence": [
      {
        "field": "call_id",
        "value": "call-20945"
      },
      {
        "field": "user_id",
        "value": "JH.Kim@Corp.example"
      },
      {
        "scope": "IdP 구성원",
        "field": "user_id",
        "value": "jh.kim@corp.example"
      },
      {
        "scope": "시킨 직원",
        "field": "group",
        "value": "eng-intern"
      },
      {
        "scope": "eng-intern 허용 경로",
        "field": "resource_prefix",
        "value": "wiki/"
      }
    ],
    "finding": "user_id 의 대소문자를 맞추면 김지훈과 짝지어지고, wiki/onboarding/setup.md 는 eng-intern 경로 wiki/ 안입니다.",
    "hedge": "이 세션의 user_id 는 IdP 와 대소문자가 다르게 기록돼 있어, 원문 그대로 짝지으면 IdP 에서 빠진 사용자로 잘못 섭니다."
  }
]

[자동 검증 · 코드가 다섯 표에서 다시 셉니다] 1. verdict 가 enum 다섯 값 중 하나이고, also_flagged 의 각 값이 허용된 호출을 뺀 네 값 중 하나인지 확인합니다. 2. call_id·verdict·groups·resolved_resource·seconds_since_read·evidence·finding 등 required 필드가 모두 있는지 확인합니다. 3. evidence 의 field 가 다섯 표의 컬럼(call_id·user_id·mcp_server·server_account·resource·called_at·group·deactivated_at·resource_prefix·sensitive·kind)에 실재하는 이름인지 대조합니다. 4. agg 가 없는 evidence 의 value 가 그 컬럼에 수록된 샘플 행의 값 그대로인지 대조합니다. 5. seconds_since_read = 이 호출의 called_at − prior_sensitive_call_id 호출의 called_at 을 초로 다시 계산합니다. call-21204 는 180, call-21331 은 600, call-21362 는 630 입니다. 6. user_id 를 소문자로 맞춰도 idp_members 에 같은 user_id 가 없거나, 있는데 called_at 이 deactivated_at 보다 늦으면 verdict 는 IdP 에서 빠진 사용자입니다. 성립 사례는 call-22310(9월 30일 비활성화 뒤 10월 12일 호출), 불성립 사례는 대소문자만 다른 call-20945 입니다. 7. 위에 걸리지 않고 mcp_server 가 mcp_inventory 에 없거나 approved 가 N 이면 verdict 는 등록 안 된 MCP 서버입니다. 성립 사례는 call-21107(local-files), 불성립 사례는 call-20931(hr-db 는 승인 Y)입니다. 8. 위 둘에 걸리지 않고 tool_kind 가 외부 전송이며 seconds_since_read 가 600 이하이면 verdict 는 민감 자원을 읽고 바로 외부로 보냄입니다. 성립 사례는 call-21204(180초)와 call-21331(정확히 600초), 불성립 사례는 call-21362(630초)입니다. 9. 위 셋에 걸리지 않고 resolved_resource 가 groups 의 resource_prefix 어느 것으로도 시작하지 않으면 verdict 는 시킨 직원의 권한 밖 자원이고, 시작하면 허용된 호출입니다. 성립 사례는 call-20931 과 경로를 풀어야 드러나는 call-20960, 불성립 사례는 call-21362(slack/ 안)입니다. 10. also_flagged 는 verdict 로 고르지 않은 판정 중 조건이 성립한 값입니다. 성립 사례는 call-21107·call-21204(둘 다 권한 밖이 함께 성립), 불성립 사례는 call-21331 입니다. 11. finding 이 존댓말 한 문장으로 끝나는지 확인합니다. [수동 검증 · 사람이 봅니다] 1. 보안 엔지니어가 펼친 줄의 그룹 경로와 세션 흐름만 보고 CISO 에게 탐지 근거를 설명하는지, PoC 결과 회의 한 번으로 봅니다. 2. 사내 채널로 보낸 call-21331 같은 호출을 고객사가 오탐으로 보는지 듣고, 그 답을 탐지 룰 설정에 옮깁니다. [평가 러너 · 2주차] 1. 수집 프록시 뒤에서 Claude Code 로 위험 호출 시나리오 24개를 실제로 일으키고, 시나리오가 의도한 판정과 같은 판정이 난 호출 수를 셉니다. 2. 놓친 호출은 어느 규칙(IdP 짝짓기·승인 목록·세션 10분 창·그룹 경로)에서 갈렸는지 같은 줄에 남깁니다.