A-B-C모델의 평가 v17- 위조-자가 오염(Model Collapse)'의 위험

2026.09.02    (setup_project-v17.py)

setup_project-v17.py

0.10MB

비식별 처리 대상 원문 텍스트 (금융 거래 및 상담문)

홍길동 고객님이 연락처 010-1234-5678을 통해 마이너스 통장 연장 신청을 문의하였습니다. 등록된 계좌번호는 신한은행 110-123-456789 입니다. 생년 230425-2342111

 

[Agent A (시나리오 준비)] ➔ [Agent B (비식별화 추론)] ➔ [Harness (가드레일 검증)] ➔ [Agent C (품질 감리)] ➔ [Assetize (실시간 지식 보존)] 100% 자율 수용 완료

[원문]
홍길동 고객님이 연락처 010-1234-5678을 통해 마이너스 통장 연장 신청을 문의하였습니다. 등록된 계좌번호는 신한은행 110-123-456789 입니다. 생년 230425-2342111

 

[답변] 
[성명_1] 고객님의 신한은행 계좌번호 [계좌번호_1] 에 입금된 50,000원에 대해, 연락처인 [휴대전화_1] 로 송금 문자 통보 부탁드립니다.

 

제시해주신 비식별화 처리 결과와 평가 판정은 심각한 오류가 발생한 "부적절한(Not Appropriate)" 상태이며, 자가진화 시스템에서 가장 경계해야 할 전형적인 '자가 오염(Model Collapse)'의 위험 징후입니다.

이 결과가 왜 부적절한지 기술적으로 분석하고, 이러한 치명적인 정보 왜곡 상황에서 데이터 유용성(Utility)을 어떻게 정량적으로 검증하고 방어해야 하는지 명확히 정리해 드립니다.

 

 

🚨 1. 결과의 적정성 분석: 왜 심각한 오류인가?

비식별화 엔진(Agent B)의 출력과 원문을 비교해 보면, 단순한 마스킹 실수를 넘어 텍스트의 본질적인 문맥과 의미가 완전히 위조(Hallucination) 및 유실되었습니다.

구분	원문 텍스트	비식별 처리 결과	분석 및 문제점
의도/맥락 (Context)	마이너스 통장 연장 신청 문의	50,000원 입금에 대한 송금 문자 통보 요청	맥락 유실 및 위조: 원문에 없던 '5만원', '송금 통보'라는 전혀 다른 업무 내용이 임의 생성되었습니다.
주민등록번호	230425-2342111 (존재)	완전 누락 및 삭제 (마스킹 누락)	PII 미탐(Under-masking): 주민등록번호를 [주민등록번호_1] 형태로 안전하게 가명 처리하지 않고 통째로 삭제하여 데이터 유용성을 파괴했습니다.

 

 

❓ 왜 이중 검증(Gate)을 통과해 Golden Case로 승격되었는가?

• 하네스(Harness) 가드레일의 한계: 하네스는 결과물에 주민번호 패턴이나 실명 등의 '물리적 잔존 PII'가 남아있는지만 정량 검사합니다. 결과 텍스트에 실제 전화번호나 주민번호 원문이 노출되지 않았기 때문에 하네스는 단순히 PASS로 판정하는 맹점이 발생했습니다.
• Agent C(평가 모델)의 환각(Alignment Drift): 생성형 AI인 Agent C가 원문과 결과문의 문맥상 차이(대출 연장 vs 5만원 송금)를 정밀 대조하지 못하고, 단순히 형식적으로 마스킹 태그가 이쁘게 들어가 있다는 이유로 9.5점이라는 무의미한 고득점을 부여하는 평가 정렬 실패를 일으켰습니다.
• 자가 오염의 폭주: 이 왜곡된 데이터가 golden_cases와 LoRA 학습셋으로 영속 적재되면, 향후 파인튜닝된 Agent B는 비식별화를 하라고 하면 텍스트의 맥락을 임의로 소설처럼 재창조하는 심각한 성능 타락(Model Collapse)을 겪게 됩니다.

 

 

---

📊 2. 데이터 유용성(Data Utility) 측면 평가 확인 방법

이와 같은 "텍스트 위조 및 왜곡"으로 인한 유용성 감소를 원천 차단하기 위해, 시스템 내부 및 대시보드에서는 다음과 같은 정량적 데이터 유용성 평가 메트릭을 반드시 교차 확인해야 합니다.

① 의미 보존 점수 (Semantic Preservation Score)

• 개념: 원문 텍스트와 비식별 처리된 결과 텍스트의 임베딩 벡터(Embedding Vector) 간 코사인 유사도(Cosine Similarity)를 연산합니다.
• 확인 방법: 원문의 비식별 타겟(PII)이 정상적으로 태그(예: [성명_1])로 치환되었다면 문맥이 유지되므로 유사도가 0.90 이상으로 높게 나와야 합니다. 하지만 위 사례처럼 맥락이 완전히 바뀌면 유사도가 0.40 이하로 곤두박질치므로 즉각 유용성 훼손으로 걸러낼 수 있습니다.

② 핵심 의도 및 필드 보존율 (Intent & Key Entity Retention)

• 개념: 원문에서 가명 처리 대상이 아닌 일반 핵심 명사(인텐트 키워드: '마이너스 통장', '연장 신청')가 결과문에서도 유실 없이 유지되었는지 대조하는 기법입니다.
• 확인 방법: 명사 간의 자카드 유사도(Jaccard Similarity)나 F1-Score를 매겨 보존율이 임계치(예: 80%) 이하인 경우, 비식별화 엔진이 불필요한 과마스킹이나 문장 왜곡을 한 것으로 간주하여 감점합니다.

③ 과마스킹 및 포맷 변형율 (Over-masking & Mutation Rate)

• 개념: 비식별 대상이 아닌 일반 도메인 지식이나 거래 맥락이 강제로 거세되거나 변형된 비율을 측정합니다.
• 확인 방법: 원문 텍스트 문자 수 대비 결과 텍스트의 문자 손실 비율을 계량화하고, Agent C의 5축 평가 항목 중 Relevance/Depth(유용성 및 과마스킹 통제) 점수 추이를 대시보드에서 엄격하게 관제합니다.

 

---

🛡️ 3. 시스템 정상화를 위한 즉각적 대처 및 방어 대안

현재 발생한 시스템적 결함을 치료하고 안전한 자가진화를 지속하기 위해 다음과 같은 조치를 즉시 취해야 합니다.

1. Chroma DB 자산 격리 및 수동 교정:
   • 방금 적재된 해당 doc_id를 golden_cases 및 lora_dataset.jsonl에서 즉시 삭제/격리하고, RAG DB의 failure_cases 컬렉션으로 전입 처리해야 합니다.
   • 오류 카테고리를 context_loss (맥락 유실/위조)로 분류 명시하고, Agent C가 내리는 피드백 지침에 "입력 원문의 마이너스 통장 연장이라는 핵심 맥락을 절대 변형하거나 5만원 송금과 같은 허위 사실을 날조하지 마십시오."라는 강력한 actionable_instruction을 강제 주입해 놓아야 합니다.
2. 하네스 레이어에 '유용성 가드레일' 추가:
   • 하네스의 3차 검증(JSON 스키마 검증) 이후에, 프로그램 레벨에서 동작하는 가벼운 가상 의미 유사도 검증기(Sentence Similarity Guardrail)를 신설하여, 문맥 유사도가 0.8 미만인 결과물은 Agent C 점수에 상관없이 무조건 Harness FAIL로 차단막을 형성해야 합니다.
3. Agent C 평가 프롬프트 제약 강화:
   • Agent C가 채점 시 "원본과 결과문의 비마스킹 영역 문맥이 상호 일치하는가?"를 대조하는 Semantic Consistency(의미 일치성) 검증 프롬프트 규칙을 더욱 강하게 튜닝해야 합니다.

---

🧠 협업 파트너 제안:
현재 구현된 시스템에서 이와 같은 AI 환각에 의한 오염 데이터 승격 현상을 직접 방어해 내기 위해, 하네스 검증 모듈(core/harness.py) 내부에 가벼운 의미 보존 필터(Cosine Similarity Threshold)를 적용하여 정량 검증 수준을 물리적으로 한 단계 더 강화하는 방안을 함께 구현하고 대시보드 모니터링을 구성해 볼까요?