합성.생성 데이터의 '모델 붕괴'(Model Collapse) 방지 전략

합성.생성 데이터의 '모델 붕괴'(Model Collapse) 방지 전략

 

모델 붕괴는 생성형 AI가 반복적으로 자신이 만든 합성 데이터를 훈련에 사용하면서 성능이 점차 저하되고, 데이터의 다양성과 품질이 손상되는 현상입니다. 이로 인해 실제 환경과의 괴리가 심해지고, 예측력과 신뢰성이 급격히 저하될 수 있습니다.

 

 

1. 모델 붕괴 방지 주요 메커니즘 및 피드백 전략

• 실제(리얼) 데이터의 지속적 축적: 합성 데이터만 반복적으로 사용할 때 붕괴가 발생하는 경향이 강합니다. 실제 데이터와 합성 데이터를 누적적으로(삭제 없이) 함께 사용하면 붕괴를 방지할 수 있습니다12.
• 합성 데이터 품질 검증(Verification): 사람이든 별도 모델이든, 합성 데이터의 품질을 사전에 검증(검열)해 불량 데이터를 걸러내는 피드백 루프가 중요합니다. 이 과정은 Gaussian Mixture Model, 변분 오토인코더(VAE) 기반 탐지, 블랙박스 검증 등 다양한 메커니즘으로 구현됩니다34.
• 데이터 다양성 유지 및 증대: 다양한 소스, 도메인, 포맷(텍스트-표-이미지 등)을 반영해 합성 데이터를 생성하고, 템플릿, 프롬프트 엔지니어링, 랜덤 변형, 데이터 증강 등으로 다양성을 적극적으로 확보해야 합니다564.
• 정기적 데이터 갱신 및 필터링: 합성 데이터가 전체 훈련세트에서 과도하게 많아지지 않도록 주기적으로 실제 데이터를 추가·주입하거나, 성능 악화 징후가 보이면 데이터 정비 피드백을 강화해야 합니다25.
• 공정성과 편향 피드백 루프 점검: 합성 데이터 훈련이 소수 집단에 불리하거나, 기존 편향을 증폭할 우려가 있음. 이를 방지하려면 Fairness Metrics, Algorithmic Reparation(AR) 등 알고리즘적 피드백도 병행해야 합니다78.
• 휴먼-인-더-루프(Human-in-the-Loop) 평가: 자동 평가로 잡기 힘든 다양성·창의성·사실성을 사람 평가자가 주기적으로 측정해주는 피드백 구조가 필요함5.

 

관련 연구 문헌 조사

년도	제목	연구목적	연구배경	연구방법
2025	Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification3	합성 데이터 활용 시 모델 붕괴 방지에서 검증 절차의 역할 규명	LLM·이미지 생성기 등에서 합성 데이터 활용 증가와 관련 위험성	이론적(가우시안 등)·실험적(행렬 고유값·뉴스 요약) 분석 및 검증 알고리즘 고안
2024	Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data1	합성 데이터 반복 훈련이 불가피하게 붕괴를 초래하는지 규명	기존 연구는 합성 데이터가 원본을 완전히 대체하는 것만 가정	합성+원본 데이터 누적 학습과 대체 학습 실험, 이론 모델 제시
2024	Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias8	합성 데이터 기반 훈련에서 공정성 피드백 루프가 미치는 영향 분석	모델 출력이 반복적으로 데이터에 반영될 때 성능/공정성 악화 문제	여러 세대의 합성데이터 기반 모델 실험 및 AR(Algorithmic Reparation) 실증
2024	AI models collapse when trained on recursively generated data9	생성모델이 본인 생성 데이터에 반복 노출될 때 이론적 붕괴 원리 규명	생성형 모델/AI 피드백 루프의 자기악화 학습 현상	수학적 분석(이산분포, 가우시안근사 등) 및 시뮬레이션
2025	Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Reinforcing World1011	합성 데이터의 피드백 루프에 따른 붕괴 또는 개선 현상 비교 분석	합성 데이터 기반 훈련의 장단점 '균형있는 정리' 필요성 대두	시뮬레이션 및 다양한 합성 데이터 활용 시나리오 평가

 

추가 참고: 실무 적용 피드백 루프 포인트

• 합성 데이터가 전체 데이터에서 차지하는 비율 조절
• 정량 지표(다양성, 분산, 편향-공정성 등)로 주기적 모니터링
• 검증 결과에 따라 합성 데이터 생성 방법 반복 개선

요약: '모델 붕괴'는 합성 데이터만 반복 활용 시 쉽게 발생할 수 있지만, 실제 데이터 누적, 검증 강화, 다양성·공정성 피드백 확보 등의 시스템적 메커니즘으로 효과적 예방이 가능합니다. 최근 논문들도 이 같은 솔루션을 이론·실험적으로 입증하고 있습니다138.

1. https://arxiv.org/abs/2404.01413
2. https://artificialintelligencemadesimple.substack.com/p/model-collapse-by-synthetic-data
3. https://openreview.net/forum?id=MQXrTMonT1
4. https://cubig.ai/blogs/synthetic-data-generation-using-llms-techniques-benefits-and-use-cases-explained
5. https://mondo.com/insights/ai-model-collapse-what-it-is-why-it-matters-and-how-to-prevent-it/
6. https://appinventiv.com/blog/ai-model-collapse-prevention/
7. https://arxiv.org/html/2403.07857v1
8. https://arxiv.org/abs/2403.07857
9. https://www.nature.com/articles/s41586-024-07566-y
10. https://openreview.net/forum?id=Xr5iINA3zU
11. https://paperswithcode.com/paper/collapse-or-thrive-perils-and-promises-of
12. https://www.ibm.com/think/topics/model-collapse
13. https://arxiv.org/abs/2505.08803
14. https://www.themoonlight.io/en/review/how-bad-is-training-on-synthetic-data-a-statistical-analysis-of-language-model-collapse
15. https://jolt.law.harvard.edu/digest/model-collapse-and-the-right-to-uncontaminated-human-generated-data
16. https://www.themoonlight.io/ko/review/fairness-feedback-loops-training-on-synthetic-data-amplifies-bias
17. https://www.marktechpost.com/2024/10/01/model-collapse-in-the-synthetic-data-era-analytical-insights-and-mitigation-strategies/
18. https://www.transcendent-ai.com/post/saving-ai-from-itself-how-to-prevent-model-collapse
19. https://www.sciencedirect.com/science/article/pii/S2001037024002393
20. https://www.reddit.com/r/MachineLearning/comments/1hd92mt/d_training_with_synthetic_data_and_model_collapse/