생성모델의 평가 - 보안성 유용성 성능품질 등을 중심으로

생성모델의 평가 - 보안성 유용성 성능품질 등을 중심으로

아래는 각 평가 항목별 세부 지표의 구체적 산출법과 주요 도메인별(의료, 금융, 공공) 적용 방안에 대한 안내입니다.

---

1. 평가 항목별 세부 지표 및 산출법

■ 보안성

• 차등프라이버시(ε 값)
  • 산출법: 생성모델 학습 혹은 합성 데이터 처리 시, 차등프라이버시 메커니즘(예: DP-SGD, Laplace/Gaussian Noise)을 적용하고, 해당 정책에서 파생되는 ε(엡실론) 값을 수치로 기록(작을수록 안전).
  • “DP 적용 유무”는 binary(Yes/No), ε는 실수값(일반적으로 1 미만이 매우 엄격).
• 재식별 위험
  • 산출법: k-익명성(동일 조합 값의 레코드 수 ≥ k), l-다양성(동일 그룹 내 비밀 속성 값 다양성 l 이상) 등 수식/집계로 판단. 가상 공격 시뮬레이션 결과로도 평가(성공률%).
  • 정보 유출 가능성은 공격 비용·성공률·데이터 민감도 등으로 척도화.
• 협상/인센티브
  • 산출법: 위험 점수 산출(예: DP ε 값, k-익명성 등), 인센티브는 위험기준 등급별 금액 차등 지급(예: “안전” 등급은 20% 프리미엄 등).

---

■ 유용성

• 통계 특성 보존
  • 산출법: 합성 데이터와 원본 데이터의 평균, 분산, 상관계수, 분포 모양(히스토그램, Q-Q plot) 등을 계량비교(차이 작을수록 우수).
  • 대표적 통계: 두 데이터셋의 KS검정(Kolmogorov-Smirnov test), Wasserstein 거리.
• 실험 결과 정확도
  • 산출법: 합성데이터로 다운스트림 AI/ML(분류/회귀/클러스터링 등) 학습 후, 실제 테스트셋에서 Accuracy, F1-score, AUROC, RMSE 등으로 비교.
• 공정성/편향
  • 산출법: Demographic parity(집단별 평균예측), Equal Opportunity(집단별 정답률 차이), Disparate Impact, Statistical Parity Difference 등 수식 활용.

---

■ 품질/성능

• 완전성
  • 산출법: (결측치 개수 ÷ 전체 데이터 개수) × 100 (%)로 단순 산출.
• 정확성
  • 산출법: RMSE(평균제곱근오차), MAE(평균절대오차) 등 실측치-예측치 차이로 산출.
• 일관성
  • 산출법: Rule violation 수(규칙 위반 개수 ÷ 전체 레코드 수) × 100 (%). 도메인별 업무 규칙에 맞춘 수식 적용.
• 강건성
  • 산출법: 노이즈/공격 데이터 주입 후 성능 하락폭(원본과의 성능 차이 %) 계량.
• 라벨 품질
  • 산출법: 합성 데이터 라벨의 Precision(정밀도), Recall(재현율), F1-score 등 ML 기본 지표로 측정.

 

모델 평가  예시표 

 보안성, 유용성, 품질/성능 3단계 분류로 재구성하여 정리 

---

 

대분류	세부 평가 변수	평가 변수 지표 예시
보안성	공격 내성, 차등프라이버시(ε 값)	DP 적용 유무, ε ≤ 1, 모의 공격 성공률 등
	재식별 위험(링크·연결 공격 성공률)	k-익명성 수준, l-다양성, 정보 유출 가능성
	협상/인센티브	품질/보안별 제공자가치, 가격탄력성, 위험도 기반 인센티브 차등화 표준
유용성	통계적 특성 보존	평균/분산 차이, 분포 보존 정도
	실험 결과 정확도	다운스트림 모델 성능(분류, 예측 정확도 등)
	공정성/편향	그룹별 출력 차이, Demographic Parity, Equal Opportunity
품질/성능	품질-완전성	누락 데이터 비율(결측치 비율 %)
	품질-정확성	실제 값과의 차이(RMSE, MAE 등)
	품질-일관성	내부 논리/규칙 위반 건, 규칙 위반 레코드 비율 (%)
	강건성	노이즈/공격 상황에서의 성능 변동, 성능 하락률(%)
	라벨 품질 (정확도)	적정 라벨링 정확도, Precision, Recall 등

 

---

 

1. 평가 항목별 세부 지표 및 산출법

■ 보안성

• 차등프라이버시(ε 값)
  • 산출법: 생성모델 학습 혹은 합성 데이터 처리 시, 차등프라이버시 메커니즘(예: DP-SGD, Laplace/Gaussian Noise)을 적용하고, 해당 정책에서 파생되는 ε(엡실론) 값을 수치로 기록(작을수록 안전).
  • “DP 적용 유무”는 binary(Yes/No), ε는 실수값(일반적으로 1 미만이 매우 엄격).
• 재식별 위험
  • 산출법: k-익명성(동일 조합 값의 레코드 수 ≥ k), l-다양성(동일 그룹 내 비밀 속성 값 다양성 l 이상) 등 수식/집계로 판단. 가상 공격 시뮬레이션 결과로도 평가(성공률%).
  • 정보 유출 가능성은 공격 비용·성공률·데이터 민감도 등으로 척도화.
• 협상/인센티브
  • 산출법: 위험 점수 산출(예: DP ε 값, k-익명성 등), 인센티브는 위험기준 등급별 금액 차등 지급(예: “안전” 등급은 20% 프리미엄 등).

---

■ 유용성

• 통계 특성 보존
  • 산출법: 합성 데이터와 원본 데이터의 평균, 분산, 상관계수, 분포 모양(히스토그램, Q-Q plot) 등을 계량비교(차이 작을수록 우수).
  • 대표적 통계: 두 데이터셋의 KS검정(Kolmogorov-Smirnov test), Wasserstein 거리.
• 실험 결과 정확도
  • 산출법: 합성데이터로 다운스트림 AI/ML(분류/회귀/클러스터링 등) 학습 후, 실제 테스트셋에서 Accuracy, F1-score, AUROC, RMSE 등으로 비교.
• 공정성/편향
  • 산출법: Demographic parity(집단별 평균예측), Equal Opportunity(집단별 정답률 차이), Disparate Impact, Statistical Parity Difference 등 수식 활용.

---

■ 품질/성능

• 완전성
  • 산출법: (결측치 개수 ÷ 전체 데이터 개수) × 100 (%)로 단순 산출.
• 정확성
  • 산출법: RMSE(평균제곱근오차), MAE(평균절대오차) 등 실측치-예측치 차이로 산출.
• 일관성
  • 산출법: Rule violation 수(규칙 위반 개수 ÷ 전체 레코드 수) × 100 (%). 도메인별 업무 규칙에 맞춘 수식 적용.
• 강건성
  • 산출법: 노이즈/공격 데이터 주입 후 성능 하락폭(원본과의 성능 차이 %) 계량.
• 라벨 품질
  • 산출법: 합성 데이터 라벨의 Precision(정밀도), Recall(재현율), F1-score 등 ML 기본 지표로 측정.

 

 

---

2. 도메인별 적용 방안

[의료]

• 보안성: DP, k-익명성, IC카드 기반 비식별 점수 필수. KPI(환자 개인정보 보호지수) 등 의료기관 내부 기준 적용.
• 유용성: 임상적 분포(성별, 질환군별) 유지 여부 + 실제 진료/연구 AI 모델 성능 비교.
• 품질/성능: 전문의 라벨 일치 평가(정답률, F1-score), 의료용 규칙(질환 코드 일관성) 위반률 분석.

[금융]

• 보안성: 데이터 분할 및 암호화, 외부 접속위험 최소화(재식별 공격 모의).
• 유용성: 신용평가/부정거래 탐지 등 다운스트림 모델에서의 AUC, 정밀도 등 비교.
• 품질/성능: 거래내역/계좌 간 상관 규칙 일관성 점검, 결측/오류 검출.

[공공/데이터 마켓]

• 보안성: 데이터 공공재/플랫폼 품질인증(K-데이터 인증 등), DP 적용 증명서
• 유용성: 통계 인구 특성 유사성, 정책 효과 모의실험 데이터의 신뢰성 등
• 품질/성능: 결측률, 중복, 오염 데이터 비율, 공개 데이터 품질등급 반영

---

정리:
이러한 산출 지표와 방안은 도메인별 업무·법규 특성에 따라 세부 항목과 산출 기준이 다양화되며, 주로 “객관적 수치”로 결과를 도출·비교합니다. 필요시 각 도메인별 예시표, 수식 예제, 실제 평가 리포트 예시 등도 추가 상담 가능합니다.

---

 

3.  관련 연구 논문 

1. Ramesh, K., Gandhi, N., Madaan, P., Bauer, L., Peris, C., & Field, A. (2024). Evaluating differentially private synthetic data generation in high-stakes domains. arXiv preprint arXiv:2410.08327v1.
2. Jang, D., Lee, S., Kim, K., & Park, J. (2020). Secure GAN-based synthetic data generation with differential privacy. Journal of the Korea Institute of Information Security & Cryptology, 30(5), 945-956. https://doi.org/10.13089/JKIISC.2020.30.5.945
3. Moon, G., Lee, H., & Kim, Y. (2025). Privacy-preserving generative models: A comprehensive survey. The Moonlight. Retrieved from https://www.themoonlight.io/ko/review/privacy-preserving-generative-models-a-comprehensive-survey
4. Bauer, L., Field, A., Gandhi, N., Peris, C., & Ramesh, K. (2025). Generating synthetic data with formal privacy guarantees: State-of-the-art and the road ahead. The Moonlight. Retrieved from https://www.themoonlight.io/ko/review/generating-synthetic-data-with-formal-privacy-guarantees-state-of-the-art-and-the-road-ahead
5. D'Cunha, E. (2024). Generative AI model privacy: a survey. Artificial Intelligence Review. https://doi.org/10.1007/s10462-024-11024-6

---

4. 논문별 연구 주제, 목적, 연구 결과 요약

생성형 모델  평가 및 지표 연구
논문(저자/연도)	연구 주제	목적	연구 결과/핵심 내용
Ramesh et al. (2024)	고위험 도메인에서 DP 기반 합성 데이터 품질·프라이버시 평가	실제 민감 영역(의료, 복지 등)에서 DP-LM 기반 합성 데이터의 활용성·위험 평가	기존 평가지표로는 실제 프라이버시·유용성 한계가 드러나지 않음. 더욱 엄밀한 다차원 평가 필요 제기. 실제 데이터셋에서 유용성 저하, 편향 노출.
Jang et al. (2020)	차등프라이버시와 CGAN 결합 데이터 생성	CGAN+Rényi-DP 도입, 레이블 데이터 효율적 학습+프라이버시 보장	연결·추론공격에 DP 적용해 리스크 감소, Rényi-DP로 효용 손실 최소화. 다양한 분류기로 유용성 검증.
Moon et al. (2025)	프라이버시 보존 생성모델(특히 GAN/VAE) 연구 종합	합성 데이터 품질평가(공격별/유형별 프라이버시, 유용성 척도 분류)	DP, multi-discriminator 등 다양한 보호기법 및 공격유형별 대응·평가 기준 정리. 유용성은 정확도, F1 등 복합 척도 활용.
Bauer et al. (2025)	프라이버시 보장 합성 데이터 생성 최신 기술과 향후 과제	DP 기반 다양한 생성방법·도메인별 유틸리티/프라이버시 트레이드오프 분석	엄격 DP적용시 품질 저하 현실화, 현실 데이터셋·도메인별 성능 차이 확인. 평가방법·벤치마크 세분 필요성 제기.
D'Cunha (2024)	생성형 AI(특히 DP 적용)의 프라이버시 보장 수준과 유용성	DP가 유용성 저하 없이 실질 프라이버시를 얼마나 보장하는지 체계적 조사	DP 강도(ε 값)에 따라 프라이버시-유용성 trade-off 존재. 주요 벤치마크 및 평가 프레임워크 검토·정리.

---

 표를 활용해 프라이버시, 품질, 유용성·공정성 등 다차원 평가지표 연구경향도 추출할 수 있으니 추가 요청 바랍니다.

[1] https://www.themoonlight.io/ko/review/empirical-privacy-evaluations-of-generative-and-predictive-machine-learning-models-a-review-and-challenges-for-practice
[2] https://dbpia.com/search/topSearch?query=%EC%83%9D%EC%84%B1%ED%98%95+AI
[3] https://www.themoonlight.io/ko/review/privacy-preserving-generative-models-a-comprehensive-survey
[4] https://arxiv.org/html/2410.08327v1
[5] https://openreview.net/forum?id=75WZP8whT8
[6] https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002639391
[7] https://emilianodc.com/PAPERS/PPGM-report.pdf
[8] https://www.themoonlight.io/ko/review/generating-synthetic-data-with-formal-privacy-guarantees-state-of-the-art-and-the-road-ahead
[9] https://link.springer.com/article/10.1007/s10462-024-11024-6
[10] https://scienceon.kisti.re.kr/srch/selectPORSrchArticle.do?cn=JAKO202031659967758