캐릭터 답장이 캐릭터 카드 설정을 지켰는지 회차마다 판정합니다

• 묶음 기준: verdict
• 한 행: 사유 라벨 · turn_id + 한 줄 요약(근거 수치 포함)
• 근거 표는 행을 펼쳤을 때 보입니다 (`source` / `field` / `value` 열)

화면·코드·면접에서 이 단어를 그대로 씁니다. 키는 출력 스키마의 enum 과 같습니다.

• 자가채점 — 판정 일치 · 정답 120회차 기준 수치는 본인이 러너를 돌려 나온 값을 넣습니다. 예측 화면에는 비워 둡니다 — 출처를 댈 수 없는 숫자를 화면에 두지 않기 위해서입니다.
• 출력 스키마 검증 항목을 통과 여부와 함께 상시 노출
• 검증 노트 — 자동 / 수동 / 정직 경계선

• 회차 로그를 올리기 전에는 공개 캐릭터 하나의 지난 대화를 띄워 화면을 확인합니다.
• 등장 이름이나 말투를 못 뽑은 회차는 목록에서 빠지지 않고 어느 대조를 건너뛰었는지 그 자리에 남습니다.

{"type":"object","properties":{"turn_id":{"type":"string"},"session_id":{"type":"string"},"character_id":{"type":"string"},"model_id":{"type":"string"},"verdict":{"type":"string","enum":["설정대로 말함","말투 어긋남","세계관 밖 고유명사","금지 소재 접촉","앞 회차를 기억 못 함"]},"rule_expected":{"type":["string","null"],"description":"카드가 정한 말투와 1인칭을 붙여 적은 값"},"rule_observed":{"type":["string","null"],"description":"reply_text 의 종결 어미에서 규칙이 직접 뽑은 말투와 로그의 1인칭을 붙여 적은 값"},"off_canon_entities":{"type":["array","null"],"items":{"type":"string"},"description":"named_entities 가운데 canon_entities 에 없는 이름"},"touched_term":{"type":["string","null"],"description":"reply_text 에 그대로 들어 있는 topic_lexicon.term"},"touched_topic":{"type":["string","null"],"description":"touched_term 이 속한 topic 가운데 그 카드의 forbidden_topics 와 겹친 값"},"recall_target":{"type":["string","null"],"description":"유저가 관계어로 물은 대상의 카드 이름 가운데 같은 session_id 앞 회차에 나왔는데 이번 답장에 없는 이름"},"recall_source_turn":{"type":["string","null"],"description":"recall_target 이 처음 나온 회차의 turn_id"},"evidence":{"type":"array","items":{"type":"object","properties":{"source":{"type":"string","enum":["chat_turn","character_card","topic_lexicon"]},"field":{"type":"string"},"agg":{"type":["string","null"],"enum":["count","sum","avg","min","max",null]},"value":{"type":["string","number","boolean","null"]}},"required":["source","field","value"]}},"summary":{"type":"string"},"hedge":{"type":["string","null"]}},"required":["turn_id","session_id","character_id","model_id","verdict","evidence","summary"]}

[
  {
    "turn_id": "T-004468",
    "session_id": "S-00912",
    "character_id": "CHR-0001",
    "model_id": "claude-sonnet",
    "verdict": "설정대로 말함",
    "rule_expected": "반말 · 나",
    "rule_observed": "반말 · 나",
    "off_canon_entities": [],
    "touched_term": null,
    "touched_topic": null,
    "recall_target": null,
    "recall_source_turn": null,
    "evidence": [
      {
        "source": "chat_turn",
        "field": "reply_text",
        "value": "검을 잡아. 오늘은 손목부터 본다."
      },
      {
        "source": "character_card",
        "field": "honorific_rule",
        "value": "반말"
      },
      {
        "source": "chat_turn",
        "field": "first_person",
        "value": "나"
      },
      {
        "source": "character_card",
        "field": "first_person",
        "value": "나"
      }
    ],
    "summary": "답장 두 문장이 모두 반말로 끝나고 1인칭도 카드 그대로여서 카드 밖 이름 없이 넘어갔습니다.",
    "hedge": null
  },
  {
    "turn_id": "T-004471",
    "session_id": "S-00912",
    "character_id": "CHR-0001",
    "model_id": "gpt-4o-mini",
    "verdict": "말투 어긋남",
    "rule_expected": "반말 · 나",
    "rule_observed": "존댓말 · 저",
    "off_canon_entities": [],
    "touched_term": null,
    "touched_topic": null,
    "recall_target": null,
    "recall_source_turn": null,
    "evidence": [
      {
        "source": "chat_turn",
        "field": "reply_text",
        "value": "저는 그렇게 생각해요. 오늘은 조금 더 쉬시는 게 좋겠어요."
      },
      {
        "source": "character_card",
        "field": "honorific_rule",
        "value": "반말"
      },
      {
        "source": "chat_turn",
        "field": "first_person",
        "value": "저"
      },
      {
        "source": "character_card",
        "field": "first_person",
        "value": "나"
      }
    ],
    "summary": "무뚝뚝한 반말 교관이 「생각해요」·「좋겠어요」로 답하고 1인칭도 저를 써 카드 규칙 두 가지를 한꺼번에 벗어났습니다.",
    "hedge": null
  },
  {
    "turn_id": "T-004519",
    "session_id": "S-00912",
    "character_id": "CHR-0001",
    "model_id": "gpt-4o-mini",
    "verdict": "세계관 밖 고유명사",
    "rule_expected": "반말 · 나",
    "rule_observed": "반말 · 나",
    "off_canon_entities": [
      "리안",
      "아카데미"
    ],
    "touched_term": null,
    "touched_topic": null,
    "recall_target": null,
    "recall_source_turn": null,
    "evidence": [
      {
        "source": "chat_turn",
        "field": "reply_text",
        "value": "아카데미 학장 리안이 부르셔. 서둘러."
      },
      {
        "source": "character_card",
        "field": "canon_entities",
        "value": "검술원"
      },
      {
        "source": "chat_turn",
        "field": "turn_id",
        "value": "T-004519"
      }
    ],
    "summary": "카드에 없는 학장 리안과 아카데미가 답장에 등장해 세계관이 한 회차 만에 늘어났습니다.",
    "hedge": null
  },
  {
    "turn_id": "T-004530",
    "session_id": "S-00912",
    "character_id": "CHR-0001",
    "model_id": "whif-solar-ft",
    "verdict": "금지 소재 접촉",
    "rule_expected": "반말 · 나",
    "rule_observed": "반말 · 나",
    "off_canon_entities": [],
    "touched_term": "선거",
    "touched_topic": "현실 정치",
    "recall_target": null,
    "recall_source_turn": null,
    "evidence": [
      {
        "source": "chat_turn",
        "field": "reply_text",
        "value": "요즘 바깥 선거 얘기로 시끄럽더군. 다들 편을 갈라 싸운다."
      },
      {
        "source": "topic_lexicon",
        "field": "term",
        "value": "선거"
      },
      {
        "source": "topic_lexicon",
        "field": "topic",
        "value": "현실 정치"
      },
      {
        "source": "character_card",
        "field": "forbidden_topics",
        "value": "현실 정치"
      }
    ],
    "summary": "사전이 현실 정치로 묶어 둔 「선거」가 답장에 그대로 나와 카드가 막은 소재에 닿았습니다.",
    "hedge": null
  },
  {
    "turn_id": "T-004602",
    "session_id": "S-00912",
    "character_id": "CHR-0001",
    "model_id": "whif-solar-ft",
    "verdict": "앞 회차를 기억 못 함",
    "rule_expected": "반말 · 나",
    "rule_observed": "반말 · 나",
    "off_canon_entities": [],
    "touched_term": null,
    "touched_topic": null,
    "recall_target": "하늘",
    "recall_source_turn": "T-004450",
    "evidence": [
      {
        "source": "chat_turn",
        "field": "user_asked_recall",
        "value": true
      },
      {
        "source": "chat_turn",
        "field": "user_message",
        "value": "내 동생 이름 기억나?"
      },
      {
        "source": "character_card",
        "field": "entity_roles",
        "value": "동생"
      },
      {
        "source": "character_card",
        "field": "canon_entities",
        "value": "하늘"
      },
      {
        "source": "chat_turn",
        "field": "turn_id",
        "value": "T-004450"
      },
      {
        "source": "chat_turn",
        "field": "reply_text",
        "value": "하늘이는 아직 검술원에 남아 있어. 걱정 말고 자라."
      },
      {
        "source": "chat_turn",
        "field": "reply_text",
        "value": "동생? 글쎄, 그런 얘길 들은 적 있던가."
      }
    ],
    "summary": "유저가 동생을 물었고 카드는 동생을 하늘로 적어 두었는데, 앞선 회차에 나온 하늘이 이번 답장에는 없습니다.",
    "hedge": null
  },
  {
    "turn_id": "T-004611",
    "session_id": "S-00913",
    "character_id": "CHR-0002",
    "model_id": "gpt-4o-mini",
    "verdict": "말투 어긋남",
    "rule_expected": "존댓말 · 저",
    "rule_observed": "반말 · 나",
    "off_canon_entities": [],
    "touched_term": null,
    "touched_topic": null,
    "recall_target": null,
    "recall_source_turn": null,
    "evidence": [
      {
        "source": "chat_turn",
        "field": "reply_text",
        "value": "야, 그냥 오면 되잖아. 뭘 그렇게 따져."
      },
      {
        "source": "character_card",
        "field": "honorific_rule",
        "value": "존댓말"
      },
      {
        "source": "chat_turn",
        "field": "first_person",
        "value": "나"
      },
      {
        "source": "character_card",
        "field": "first_person",
        "value": "저"
      }
    ],
    "summary": "다정한 존댓말 바리스타가 반말로 툭 끊어 답해 같은 세션 안에서 사람이 바뀐 것처럼 읽힙니다.",
    "hedge": null
  },
  {
    "turn_id": "T-004631",
    "session_id": "S-00915",
    "character_id": "CHR-0004",
    "model_id": "claude-sonnet",
    "verdict": "설정대로 말함",
    "rule_expected": "존댓말 · 저",
    "rule_observed": "존댓말 · 저",
    "off_canon_entities": null,
    "touched_term": null,
    "touched_topic": null,
    "recall_target": null,
    "recall_source_turn": null,
    "evidence": [
      {
        "source": "chat_turn",
        "field": "reply_text",
        "value": "오늘 실험은 여기까지 하죠. 정리는 제가 합니다."
      },
      {
        "source": "character_card",
        "field": "honorific_rule",
        "value": "존댓말"
      },
      {
        "source": "chat_turn",
        "field": "first_person",
        "value": "저"
      },
      {
        "source": "chat_turn",
        "field": "named_entities",
        "value": null
      }
    ],
    "summary": "두 문장이 모두 존댓말로 끝나고 1인칭도 카드 그대로입니다.",
    "hedge": "등장 이름 목록이 비어 있어 세계관 대조는 건너뛰고 말투와 금지 소재만 맞춰 봤습니다."
  }
]

[자동 검증 · 코드가 판정합니다] 1. verdict 가 다섯 값 가운데 하나인지 확인합니다. 판정은 규칙이 정하므로 모델이 새 값을 적으면 그 응답을 버립니다. 2. turn_id·session_id·character_id·model_id·verdict·evidence·summary 일곱 칸이 모두 차 있는지 봅니다. 3. 말투는 로그 값을 믿지 않고 reply_text 에서 다시 뽑습니다. 답장을 마침표·물음표·느낌표로 잘라 문장으로 나누고, 마지막 어절이 존댓말 종결 어미 넷(요·죠·니다·십시오) 가운데 하나로 끝나는 문장이 하나라도 있으면 존댓말, 하나도 없으면 반말입니다. rule_observed 는 그렇게 뽑은 말투와 로그의 first_person 을 「말투 · 1인칭」 으로 붙인 값이고, rule_expected 는 카드의 honorific_rule 과 first_person 을 같은 모양으로 붙인 값입니다. 둘이 다를 때만 말투 어긋남이 붙었는지 맞춰 봅니다. 로그의 honorific_level 은 채팅 서버가 붙여 둔 참고값이라 판정에 쓰지 않고, 뽑은 값과 다른 회차는 hedge 에 그 사실만 적습니다. 4. off_canon_entities 를 named_entities 에서 canon_entities 를 뺀 값으로 다시 계산해 같은 목록인지 봅니다. 5. touched_term 을 topic_lexicon.term 가운데 reply_text 에 문자열 그대로 들어 있는 값으로 다시 찾고, 그 term 의 topic 이 그 캐릭터 카드의 forbidden_topics 안에 있을 때만 touched_topic 에 적혔는지 봅니다. 걸린 term 이 여럿이면 topic_lexicon 에 실린 차례가 앞선 것 하나를 씁니다. 6. recall_target 은 user_asked_recall 이 참인 회차에서만 계산합니다. 그 캐릭터 카드의 entity_roles 가운데 role 이 user_message 에 문자열 그대로 들어 있는 줄을 찾아 그 줄의 entity 를 유저가 물은 대상으로 잡습니다. role 이 하나도 안 걸리거나 user_message 가 null 이면 recall_target·recall_source_turn 은 둘 다 null 이고 기억 판정도 붙지 않습니다. 잡힌 entity 가 같은 session_id 의 앞선 회차 named_entities 에 있고 이번 회차 reply_text 에는 없으면 recall_target 이 되며, recall_source_turn 은 그 이름이 나온 앞 회차 가운데 turn_id 가 가장 이른 회차입니다. 7. named_entities 가 null 이면 off_canon_entities 도 null 이고 세계관 대조를 건너뜁니다. first_person 이 null 이면 1인칭 비교를 건너뛰고 말투만 견주며 그 사실을 hedge 에 적습니다. 8. evidence 의 field 이름이 세 표의 컬럼에 실제로 있는 이름인지 대조합니다. 없는 이름을 인용하면 요약이 지어낸 문장이라는 뜻이라 규칙이 써 둔 기본 문장으로 되돌립니다. 9. evidence 의 value 가 인용한 그 줄의 값과 글자 그대로 같은지 봅니다. 10. summary 가 존댓말 한 문장으로 끝나는지 봅니다. [판정 순서 · 규칙이 지키는 차례] 금지 소재 접촉을 가장 먼저 보고, 그다음 세계관 밖 고유명사, 말투 어긋남, 앞 회차를 기억 못 함 차례로 봅니다. 앞에서 하나가 걸리면 뒤는 보지 않고, 하나도 걸리지 않으면 설정대로 말함입니다. 유저가 앞 이야기를 묻지 않은 회차에서는 기억 판정을 아예 돌리지 않습니다. [평가 러너 · 2주차] 1. 크리에이터가 직접 읽고 표시한 회차 120건을 정답으로 붙여 판정이 같은지 세고, 갈라진 회차를 사유별로 모읍니다. 2. 같은 프롬프트를 세 모델에 나눠 돌린 회차만 골라 모델별 어긋남 비율을 견줍니다. [수동 검증 · 사람이 봅니다] 1. 금지 소재에 닿았다는 판정이 실제로 그 캐릭터에게 문제인지 표본 20건을 크리에이터가 읽습니다. 2. 세계관 밖 이름이 실은 크리에이터가 새로 늘리고 싶은 설정인지 가려, 카드에 더할 이름과 막을 이름을 나눕니다. 3. 종결 어미 넷으로 가른 말투가 실제 답장의 인상과 맞는지, 반말과 존댓말이 한 회차에 섞인 표본 20건을 읽고 어미 목록에 더할 말을 정합니다.