자기진화모델 - 데이터 비식별화 평가 정량적 지표 계산 파이썬 예시

자기진화모델 -  데이터 비식별화 평가 정량적 지표 계산 파이썬 예시



비식별화 성능 평가 지표와 Python 예시를 정리한 문서와 차트를 생성해 두었습니다. 문서에는 Precision, Recall, F1, residual PII rate, over-masking rate, utility score 계산법과 Python 코드 예시가 들어 있습니다.[1]

## 포함된 파일

- 지표 설명 및 코드 예시: `deidentification_metrics_python_examples.md`
- 요약 문서: `deid_metrics_summary.md`
- 예시 차트 2개: `deid_metrics_comparison.png`, `deid_metrics_risk_utility.png`

- 전체 패키지 압축본: `deid_metrics_package.zip`

## 핵심 계산 방식

- Precision = TP / (TP + FP).
- Recall = TP / (TP + FN).
- F1 = 2 × Precision × Recall / (Precision + Recall).
- Residual PII rate는 비식별 후에도 남은 PII 비율입니다.
- Over-masking rate는 원래 PII가 아닌 부분을 과하게 마스킹한 비율입니다.
- Utility score는 마스킹 전후 downstream task 성능 차이로 봅니다.[1]

## Python 예시 특징

- span 기반 Precision/Recall/F1 계산.
- 정규식 기반 PII span 추출.
- 잔존 PII와 과마스킹 계산.
- 문서 분류/QA 같은 downstream task 기반 유용성 점수 비교.
- 실험군별 결과 집계용 pandas 예시.

원하시면 다음 단계로 바로 **당신 프로젝트용 `evaluation_runner.py`와 `metrics_dashboard.py` 코드**로 연결해드리겠습니다.

출처
[1] TABLE I. De-identification Agent evaluation results. https://pmc.ncbi.nlm.nih.gov/articles/PMC12995549/table/T2/
[2] Utility-Preserving De-Identification for Math Tutoring https://arxiv.org/html/2602.16571v2
[3] [Literature Review] Differentially Private De-identification of Dutch ... https://www.themoonlight.io/en/review/differentially-private-de-identification-of-dutch-clinical-notes-a-comparative-evaluation
[4] PrivacyBench: Tonic Textual Beats LLMs https://www.tonic.ai/ai-model-benchmarks/privacy-bench
[5] Intelligent Detection and Protection of Personally ... https://sagespress.com/index.php/JSISI/article/download/52/43
[6] Enhancing the De-identification of Personally Identifiable ... https://arxiv.org/html/2501.09765v1
[7] Surveying LLM-based De-identification and Quantifying Clinical ... https://arxiv.org/html/2509.14464v1
[8] A Data Utility-Driven Benchmark for De-identification Methods https://link.springer.com/chapter/10.1007/978-3-030-27813-7_5
[9] Discussion https://academic.oup.com/jamiaopen/article/8/1/ooae152/7966802
[10] [2602.15869] Towards Fair and Efficient De-identification ... https://ar5iv.labs.arxiv.org/html/2602.15869
[11] 8.9. Precision, Recall, F1 Score - Python Implementation ... https://www.youtube.com/watch?v=3MGYg7pfDSo
[12] Update on Virtual Tissue Repository Initiative, De-identification efforts and Genomics projects https://seer.cancer.gov/seerdms/portal/face-to-face-meetings/2018-face-to-face-meeting/06_1030_seer-dmsupdatedeidgenomics_petkov.pdf
[13] An LLM-Powered Framework for Automatic Clinical Data ... https://arxiv.org/html/2505.18380v1
[14] PII-Bench: Evaluating Query-Aware Privacy Protection ... https://aclanthology.org/2026.acl-long.227.pdf
[15] How to predict Precision, Recall and F1 score after training ... https://stackoverflow.com/questions/69425143/how-to-predict-precision-recall-and-f1-score-after-training-ssd