AI 엔지니어를 위해 제안한 LLM 구성이 월 예산 안에 드는지 판단해주는 CLI입니다.

{"type":"object","properties":{"workload_no":{"type":"string"},"verdict":{"type":"string","enum":["within_budget","over_budget","budget_missing","calls_missing","output_price_missing","model_unmapped","duplicate_workload"]},"monthly_cost_usd":{"type":["number","null"]},"input_cost_usd":{"type":["number","null"]},"output_cost_usd":{"type":["number","null"]},"monthly_budget_usd":{"type":["number","null"]},"cheaper_tier_cost_usd":{"type":["number","null"]},"evidence":{"type":"array","items":{"type":"object","properties":{"field":{"type":"string"},"agg":{"type":["string","null"]},"value":{},"quote":{"type":["string","null"]}},"required":["field","value"]}},"next_action":{"type":"string"}},"required":["workload_no","verdict","monthly_cost_usd","input_cost_usd","output_cost_usd","monthly_budget_usd","cheaper_tier_cost_usd","evidence","next_action"]}

[
  {
    "workload_no": "WL-001",
    "verdict": "within_budget",
    "monthly_cost_usd": 324,
    "input_cost_usd": 144,
    "output_cost_usd": 180,
    "evidence": [
      {
        "field": "monthly_calls",
        "value": 120000
      },
      {
        "field": "avg_input_tokens",
        "value": 1200
      },
      {
        "field": "avg_output_tokens",
        "value": 300
      },
      {
        "field": "input_price_per_mtok",
        "value": 1
      },
      {
        "field": "output_price_per_mtok",
        "value": 5
      },
      {
        "field": "monthly_budget_usd",
        "value": 400
      }
    ],
    "next_action": "상한 400달러 안에 듭니다. 제안서 합계의 주요 항목으로 올립니다.",
    "monthly_budget_usd": 400,
    "cheaper_tier_cost_usd": null
  },
  {
    "workload_no": "WL-006",
    "verdict": "within_budget",
    "monthly_cost_usd": 75,
    "input_cost_usd": 15,
    "output_cost_usd": 60,
    "evidence": [
      {
        "field": "monthly_calls",
        "value": 200000
      },
      {
        "field": "avg_input_tokens",
        "value": 500
      },
      {
        "field": "avg_output_tokens",
        "value": 500
      },
      {
        "field": "input_price_per_mtok",
        "value": 0.15
      },
      {
        "field": "output_price_per_mtok",
        "value": 0.6
      },
      {
        "field": "monthly_budget_usd",
        "value": 100
      }
    ],
    "next_action": "호출은 많지만 경량 모델이라 상한 100달러 안에 듭니다. 그대로 둡니다.",
    "monthly_budget_usd": 100,
    "cheaper_tier_cost_usd": null
  },
  {
    "workload_no": "WL-003",
    "verdict": "over_budget",
    "monthly_cost_usd": 292.5,
    "input_cost_usd": 180,
    "output_cost_usd": 112.5,
    "evidence": [
      {
        "field": "monthly_calls",
        "value": 5000
      },
      {
        "field": "avg_input_tokens",
        "value": 12000
      },
      {
        "field": "avg_output_tokens",
        "value": 1500
      },
      {
        "field": "input_price_per_mtok",
        "value": 3
      },
      {
        "field": "output_price_per_mtok",
        "value": 15
      },
      {
        "field": "monthly_budget_usd",
        "value": 200
      },
      {
        "field": "tier",
        "value": "standard"
      }
    ],
    "next_action": "상한을 92.5달러 넘습니다. 같은 경량 tier의 클로드 하이쿠로 내리면 97.5달러라 상한 안에 듭니다.",
    "monthly_budget_usd": 200,
    "cheaper_tier_cost_usd": 97.5
  },
  {
    "workload_no": "WL-008",
    "verdict": "calls_missing",
    "monthly_cost_usd": null,
    "input_cost_usd": null,
    "output_cost_usd": null,
    "evidence": [
      {
        "field": "monthly_calls",
        "value": null
      },
      {
        "field": "workload_name",
        "value": "이미지 설명"
      }
    ],
    "next_action": "월 호출량이 비어 있습니다. 0원으로 세지 않고 현업에 예상 건수를 요청합니다.",
    "monthly_budget_usd": 250,
    "cheaper_tier_cost_usd": null
  },
  {
    "workload_no": "WL-007",
    "verdict": "model_unmapped",
    "monthly_cost_usd": null,
    "input_cost_usd": null,
    "output_cost_usd": null,
    "evidence": [
      {
        "field": "model_raw",
        "value": "claude-opus",
        "quote": "claude-opus"
      }
    ],
    "next_action": "단가표에 없는 모델입니다. 단가를 받기 전에는 합계에서 빼 둡니다.",
    "monthly_budget_usd": 400,
    "cheaper_tier_cost_usd": null
  },
  {
    "workload_no": "WL-003",
    "verdict": "duplicate_workload",
    "monthly_cost_usd": 292.5,
    "input_cost_usd": 180,
    "output_cost_usd": 112.5,
    "evidence": [
      {
        "field": "workload_no",
        "agg": "count",
        "value": 2
      }
    ],
    "next_action": "같은 업무 번호가 두 번 등록됐습니다. 앞 건으로만 계산하고 뒤 건을 합계에서 뺍니다.",
    "monthly_budget_usd": 200,
    "cheaper_tier_cost_usd": null
  },
  {
    "workload_no": "WL-011",
    "verdict": "budget_missing",
    "monthly_cost_usd": null,
    "input_cost_usd": null,
    "output_cost_usd": null,
    "monthly_budget_usd": null,
    "cheaper_tier_cost_usd": null,
    "evidence": [
      {
        "field": "monthly_budget_usd",
        "value": null
      },
      {
        "field": "workload_name",
        "value": "제품 문의 응답"
      }
    ],
    "next_action": "이 업무의 월 상한이 정해져 있지 않습니다. 비용은 계산하되 판정은 상한을 받은 뒤에 합니다."
  }
]

[자동 검증 · 1주차] 1. verdict가 enum 다섯 값 안에 있는지 확인합니다. 2. workload_no·verdict·monthly_cost_usd·input_cost_usd·output_cost_usd·evidence·next_action이 모두 있는지 확인합니다. 3. avg_input_tokens와 avg_output_tokens가 0 이상인지 확인합니다. 4. monthly_calls가 null이면 verdict가 calls_missing인지 확인합니다. 5. evidence의 field가 두 입력 표의 컬럼에 실재하는지 확인합니다. 6. evidence의 quote가 그 행 model_raw의 일부인지 확인합니다. 7. next_action이 존댓말로 끝나는지 확인합니다. [판정 규칙] 1. 모델 표기은 대소문자와 띄어쓰기, 구분자를 없애 소문자로 모은 뒤 model_price_list의 model_id와 맞춥니다. 맞는 것이 없으면 미매핑으로 남기고 그 행은 나머지 판정에서 뺍니다. 2. 같은 행 번호가 두 번 들어오면 앞 건만 남기고 뒤 건은 적재 단계에서 사유와 함께 뺍니다. [판정 규칙] 1. 월 비용은 호출 수와 평균 토큰, 단가를 곱해 입력과 출력을 따로 더합니다. 2. 월 비용을 그 업무의 상한과 견줘 안에 들면 within_budget, 넘으면 over_budget으로 답니다. 상한이 비어 있으면 판정하지 않고 budget_missing으로 남깁니다. 3. over_budget인 업무는 단가표에서 같은 통화의 더 싼 tier 모델로 바꿨을 때의 비용을 함께 계산해 대안으로 적습니다. [수동 검증] 1. 예상 호출량이 현업이 말한 업무 빈도와 맞는지 컨설턴트가 확인합니다. 2. WL-002·WL-003처럼 모델 표기가 흔들렸지만 단가표로 맞춰진 업무는 미매핑 사유를 달지 않는 것이 맞는지 확인합니다. [평가 러너 · 2주차] 1. 같은 사용량에 다른 모델을 대입해 비용 차이를 세고 어느 업무에서 절감이 큰지 나눕니다. 2. 사용량과 단가를 작성자가 만든 합성 기준이라 이 수치는 성능 측정이 아니라 데모 조건 동작입니다.