(논문) 합성 데이터 생성 모델을 위한 평가 프레임워크 (2024)

제목 :  An evaluation framework for synthetic data generation models   (2024)
          합성 데이터 생성 모델을 위한 평가 프레임워크

 

초록 

Abstract: Nowadays, the use of synthetic data has gained popularity as a cost-efficient strategy for enhancing data augmentation for improving machine learning models performance as well as addressing concerns related to sensitive data privacy. Therefore, the necessity of ensuring quality of generated synthetic data, in terms of accurate representation of real data, consists of primary importance. In this work, we present a new framework for evaluating synthetic data generation models' ability for developing high-quality synthetic data. The proposed approach is able to provide strong statistical and theoretical information about the evaluation framework and the compared models' ranking. Two use case scenarios demonstrate the applicability of the proposed framework for evaluating the ability of synthetic data generation models to generated high quality data.

 

번역

초록: 최근 합성 데이터의 활용은 머신러닝 모델의 성능 향상을 위한 데이터 증강과 민감한 데이터의 프라이버시 문제 해결을 위한 비용 효율적인 전략으로 각광받고 있습니다. 따라서 생성된 합성 데이터가 실제 데이터를 정확하게 표현하는 품질을 보장하는 것이 매우 중요합니다. 본 연구에서는 고품질 합성 데이터를 생성하는 합성 데이터 생성 모델의 능력을 평가하기 위한 새로운 프레임워크를 제안합니다. 제안된 접근 방식은 평가 프레임워크와 비교된 모델의 순위에 대해 강력한 통계적 및 이론적 정보를 제공합니다. 두 가지 사용 사례 시나리오를 통해 제안된 프레임워크가 합성 데이터 생성 모델의 데이터 품질 평가에 효과적으로 적용될 수 있음을 입증합니다.

인용: Livieris I.E., Alimpertis N., Domalis G., & Tsakalidis D. (2024). 합성 데이터 생성 모델을 위한 평가 프레임워크. IFIP 인공지능 응용 및 혁신 국제학술대회.연구 배경 : 생성된 합성 데이터가 실제 데이터를 정확하게 표현하는 품질을 보장하는 것이 매우 중요

 

• 연구 목적 : 고품질 합성 데이터를 생성하는 합성 데이터 생성 모델의 능력을 평가하기 위한 새로운 프레임워크를 제안
• 연구 방법 :  제안된 접근 방식은 평가 프레임워크와 비교된 모델의 순위에 대해 강력한 통계적 및 이론적 정보를 제공
• 연구 결과: 제안된 프레임워크가 합성 데이터 생성 모델의 데이터 품질 평가에 효과적으로 적용될 수 있음을 입증

---

* 연구의 주장하는 바 ?

• 합성 데이터의 품질 평가를 위한 통합 프레임워크 제안
  -  통계적·이론적 근거를 기반으로 한 다각적 평가를 수행
• 모델 간 성능 비교 및 순위화 기능
  -  - 다양한 평가 지표를 종합하여 모델을 정량적으로 비교
• 유연성과 확장성
  - 다양한 데이터 유형과 모델에 적용 가능 

 

* 연구의 독창성은 ?

📚 기존 연구와 비교

• Hernandez et al. (2023): 합성 데이터 평가에 대한 체계적 리뷰를 통해 “보편적인 평가 방법은 존재하지 않는다”는 결론을 제시.
• RAGAS Framework (2023): Retrieval-Augmented Generation 시스템에 특화된 평가 프레임워크로, **참조 없는 평가(reference-free)**와 지식 그래프 기반 테스트셋 생성에 초점을 둠.

     Livieris 외 논문은 기존의 한계를 극복하고, 정량적·정성적 평가를 통합한 포괄적 프레임워크를 제시함

 

🔍 기존 연구와의 차별성

 

항목	기존 프레임워크	제안 평가 프레임워크 ( Livieris 외 논문)
평가 방식	단일 지표(예: TSTR, 시각적 비교)에 의존	다중 통계 지표 + 이론적 분석 기반
모델 비교	개별 성능만 평가	모델 간 순위화 및 비교 가능
유연성	특정 데이터 유형에 제한적	다양한 데이터셋과 테스트 통합 가능
이론적 기반	실험 중심	통계적 정당성과 수학적 정의 강조
응용 사례	제한적 또는 미제공	실제 시나리오 2가지로 프레임워크 적용 입증

 

---

 

2. 논문 연구 내용 정리

 

이 논문에서 제안된 합성 데이터 평가 프레임워크는 통계적 유사성과 모델 성능 비교를 중심으로 설계되어 있으며, 다음과 같은 주요 통계적 방법들을 활용합니다:

📊 주요 통계적 평가 방법

• 분포 기반 비교 (Distributional Similarity):
  • 합성 데이터와 실제 데이터 간의 특징 분포를 비교합니다.
  • 예: Kolmogorov-Smirnov 테스트, Chi-square 테스트 등.
•  
• 통계적 거리 측정 (Statistical Distance Metrics):
  • 두 데이터셋 간의 차이를 수치화하기 위해 Wasserstein Distance, Jensen-Shannon Divergence 같은 지표를 사용합니다.
  • 이를 통해 합성 데이터가 실제 데이터의 구조를 얼마나 잘 모사하는지 평가합니다.
• 모델 기반 평가 (Train on Synthetic, Test on Real):
  • 합성 데이터로 학습한 모델을 실제 데이터에서 테스트하여 일반화 성능을 측정합니다.
  • 이는 데이터의 유용성과 정보 보존력을 간접적으로 평가하는 방법입니다.
• Feature-wise Analysis:
  • 각 변수별로 평균, 분산, 상관관계 등을 비교하여 통계적 특성 보존 여부를 분석합니다.
• Ranking 및 Aggregation:
  • 여러 지표를 종합하여 모델을 순위화하고, 프레임워크가 제공하는 이론적 기반을 통해 신뢰도 있는 비교를 수행합니다.

이 프레임워크는 특히 표 형식(tabular) 데이터에 강점을 가지며, 다양한 합성 데이터 생성 모델(GAN, VAEs 등)에 적용 가능하도록 설계되었습니다.

 

---

세부 분석 모형 정리

1) 분포 기반 비교 

📐 1. Kolmogorov–Smirnov (KS) Test

목적: 두 데이터셋의 분포가 동일한지를 검정합니다.

정의:

$$ D_{n,m} = \sup_x |F_n(x) - G_m(x)| $$

• ( F_n(x) ): 실제 데이터의 누적분포함수 (CDF)
• ( G_m(x) ): 합성 데이터의 누적분포함수
• ( \sup_x ): 모든 ( x )에 대해 최대 차이

해석: ( D_{n,m} ) 값이 작을수록 두 분포가 유사함을 의미합니다.

 

 

 

 

📊 2. Jensen–Shannon Divergence (JSD)

목적: 두 확률 분포 간의 유사성을 측정합니다. KL Divergence의 대칭적이고 안정적인 변형입니다.

정의:

$$ \text{JSD}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) $$

• ( P, Q ): 실제 및 합성 데이터의 확률 분포
• ( M = \frac{1}{2}(P + Q) ): 평균 분포
• ( D_{KL}(P Q) = \sum P(x) \log \frac{P(x)}{Q(x)} ): Kullback–Leibler Divergence

해석: JSD 값이 0에 가까울수록 두 분포가 유사함을 의미합니다.

 

🚰 3. Wasserstein Distance (Earth Mover’s Distance)

목적: 두 분포 간의 “이동 비용”을 측정합니다.

정의 (1차 Wasserstein 거리):

$$ W(P, Q) = \inf_{\gamma \in \Gamma(P, Q)} \int_{\mathbb{R} \times \mathbb{R}} |x - y| , d\gamma(x, y) $$

• ( \Gamma(P, Q) ): ( P )와 ( Q )를 연결하는 joint distribution 집합
• ( \gamma(x, y) ): ( x )에서 ( y )로 이동하는 확률 질량

해석: 값이 작을수록 실제와 합성 데이터 간의 분포 차이가 적습니다.

 

🧠 4. Train on Synthetic, Test on Real (TSTR)

목적: 합성 데이터의 유용성을 평가합니다.

정의:

• 합성 데이터 ( D_S )로 모델 ( M )을 학습
• 실제 데이터 ( D_R )로 모델 ( M )을 테스트
• 성능 지표 ( \text{Acc}_{TSTR} = \text{Accuracy}(M(D_S), D_R) )

해석: 높은 정확도는 합성 데이터가 실제 데이터의 특성을 잘 반영함을 의미합니다.

🔗 5. Feature-wise Statistics Comparison

목적: 각 변수의 통계적 특성(평균, 분산, 상관관계 등)을 비교합니다.

예시 정의:

• 평균 차이: ( \Delta \mu = \mu_{real} - \mu_{synthetic} )
• 분산 차이: ( \Delta \sigma2_{real} - \sigma^2_{synthetic} )
• 상관행렬 차이: Frobenius norm 사용

$$ \Delta_{corr} = | C_{real} - C_{synthetic} |_F $$

이러한 지표들은 서로 보완적으로 사용되며, 프레임워크에서는 이들을 종합하여 모델을 순위화하거나 품질을 평가합니다. 원하시면 각 지표를 Python 코드로 구현하는 방법도 알려드릴 수 있어요!

 

1. Kolmogorov–Smirnov Test

$$ D_{n,m} = \sup_x |F_n(x) - G_m(x)| $$

2. Jensen–Shannon Divergence

$$ \text{JSD}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) $$
where \( M = \frac{1}{2}(P + Q) \), and $$ D_{KL}(P || Q) = \sum P(x) \log \frac{P(x)}{Q(x)} $$

3. Wasserstein Distance

$$ W(P, Q) = \inf_{\gamma \in \Gamma(P, Q)} \int_{\mathbb{R} \times \mathbb{R}} |x - y| \, d\gamma(x, y) $$

4. Train on Synthetic, Test on Real (TSTR)

$$ \text{Acc}_{TSTR} = \text{Accuracy}(M(D_S), D_R) $$

5. Feature-wise Statistics Comparison

$$ \Delta \mu = |\mu_{real} - \mu_{synthetic}| $$
$$ \Delta \sigma^2 = |\sigma^2_{real} - \sigma^2_{synthetic}| $$
$$ \Delta_{corr} = \| C_{real} - C_{synthetic} \|_F $$