반응형
LLM 기반 데이터와 서비스간 정보보호 Matrix 및 프레임워크
1. 개요
대규모 언어 모델(LLM)의 발전과 확산에 따라 데이터 프라이버시 보호는 핵심적인 연구 과제로 부상하고 있습니다. LLM은 방대한 데이터를 학습하고 처리하는 과정에서 개인식별정보(PII), 민감정보, 기업 기밀 등의 노출 위험이 존재하며, 이는 학습 단계부터 추론, 서비스 제공에 이르는 전 생명주기에 걸쳐 발생합니다.[1][2][3][4][5]
본 연구에서는 LLM의 데이터 활용 범위를 6개 주요 영역으로 분류하고, 각 영역별 정보보호 요소, 위협 요인, 그리고 최신 연구에서 제시된 개선 방안을 체계적으로 정리합니다.
2. LLM 데이터 활용 영역별 정보보호 프레임워크
2.1 데이터의 프라이버시 보호
정보보호 요소
- 데이터 최소화(Data Minimization): 필요한 최소한의 데이터만 수집 및 처리[6][7]
- 데이터 비식별화(Anonymization): PII 제거 및 익명화 처리[8][6]
- 가명처리(Pseudonymization): 식별자를 가명으로 대체[7]
- 데이터 정화(Data Sanitization): 민감정보 검출 및 제거[9][8]
- 접근 제어(Access Control): 역할 기반 접근 제어(RBAC) 및 최소 권한 원칙[10][11]
주요 위협
- 민감 쿼리 노출(Sensitive Query Leakage): 사용자가 입력한 프롬프트에 포함된 PII 노출[5][6]
- 데이터 유출(Data Leakage): 학습 데이터에 포함된 민감정보의 비의도적 노출[12][13]
- 문맥 기반 정보 유출(Contextual Leakage): 여러 쿼리를 결합하여 개인 식별[5]
데이터의 프라이버시 보호 문제점 및 개선점
문제점:
- 기존 마스킹 방법(해시 치환, 플레이스홀더)은 텍스트의 자연스러움을 해치고 LLM 학습 효율성 저하[14]
- PII 탐지 시스템의 정확도 한계 및 다국어 지원 부족[6]
- 정적 비식별화 방식은 재식별 공격에 취약[15]
개선점:
- 합성 데이터 생성: PII를 문맥을 유지하는 합성 데이터로 대체하여 언어 품질 유지[14]
- 동적 정책 기반 비식별화: 실시간 정책 적응 및 도메인 특화 민감정보 탐지[1]
- 형식 보존 암호화(Format-Preserving Encryption): 데이터의 문맥적 무결성을 유지하면서 암호화[1]
- 다단계 PII 탐지 파이프라인: NER 모델, 패턴 매칭, LLM 기반 검증을 조합[16][6]
2.2 LLM 학습 데이터 학습 시 프라이버시 보호
정보보호 요소
- 차등 프라이버시(Differential Privacy, DP): 학습 데이터의 개별 기여도를 수학적으로 보호[17][18][19]
- 연합학습(Federated Learning, FL): 데이터를 중앙 집중화하지 않고 분산 학습[20][21][22]
- 데이터 정화(Data Cleaning): 학습 전 PII 및 민감정보 제거[9][8]
- 합성 데이터 활용: 실제 데이터 통계적 특성을 유지하는 인공 데이터 생성[18][23][15]
주요 위협
- 학습 데이터 추출 공격(Training Data Extraction): 모델에서 학습 데이터를 역추출[24][25][26]
- 멤버십 추론 공격(Membership Inference Attack): 특정 데이터가 학습에 사용되었는지 판별[27][28][24]
- 백도어 공격(Backdoor Attack): 학습 데이터에 트리거 삽입하여 모델 조작[19][5]
- 데이터 중독 공격(Data Poisoning): 악의적 데이터로 모델 성능 저하[29]
학습 데이터 학습 시 프라이버시 보호 연구별 문제점 및 개선점
문제점:
- 차등 프라이버시 적용 시 모델 성능(accuracy) 저하 및 높은 계산 비용[30][17]
- 연합학습에서도 전역 모델을 통한 데이터 추출 가능[31][20]
- 합성 데이터의 품질과 프라이버시 보장 간 트레이드오프[23][32]
개선점:
- 사용자 레벨 차등 프라이버시(User-Level DP): 개별 샘플이 아닌 사용자 단위로 프라이버시 보장[17]
- DP-SGD 최적화: 클리핑(clipping) 및 노이즈 주입 파라미터 조정으로 프라이버시-성능 균형 개선[33][19]
- FL + DP 결합: 연합학습에 차등 프라이버시를 통합하여 강화된 보호[29][31]
- Rényi Differential Privacy (RDP): 더 효율적인 프라이버시 회계(accounting) 방법[34][23]
- PATE (Private Aggregation of Teacher Ensembles): 교사 모델 앙상블을 통한 프라이버시 보호[23]
- 합성 데이터 검증: Distance to Closest Record (DCR), 속성/멤버십 추론 공격 저항성 평가[23]
2.3 LLM 검색과 분석 시 프라이버시 보호
정보보호 요소
- 검색 증강 생성(RAG) 보안: 외부 지식베이스 접근 시 프라이버시 보호[35][36][34]
- 쿼리 난독화(Query Obfuscation): 검색 쿼리의 민감정보 보호[35]
- 암호화된 검색: 암호화 상태에서 검색 수행[36][37]
- 프라이버시 보존 임베딩: 벡터 임베딩 암호화[38][39]
주요 위협
- 검색 데이터 추출 공격: RAG 시스템에서 외부 데이터베이스 정보 유출[34][35]
- 프롬프트 인젝션: 악의적 프롬프트를 통한 시스템 조작[40][41][42]
- 간접 프롬프트 인젝션: 외부 콘텐츠에 숨겨진 악의적 명령 실행[42][40]
- 멤버십 추론 공격: 검색된 데이터가 학습 데이터에 포함되었는지 추론[43][35]
LLM 검색과 분석 시 연구별 문제점 및 개선점
문제점:
- RAG 시스템은 검색 데이터를 직접 노출시켜 프라이버시 위험 증가[36][35]
- 기존 필터링 방법은 정교한 프롬프트 인젝션 공격에 취약[44][40]
- 암호화된 검색은 높은 계산 오버헤드로 실시간 처리 제약[36]
개선점:
- 프라이버시 보존 RAG 프레임워크: 익명화된 엔티티 기반 검색[36]
- 관계 중심 추상화(Relation-Centric Abstraction): 엔티티를 고수준 개념으로 변환[36]
- 구조 지향 추상화(Structure-Oriented Abstraction): 자연어 쿼리를 구조화된 경로로 변환[36]
- 검색 데이터 필터링: 민감정보 검출 및 제거 후 LLM 전달[35]
- 차등 프라이버시 기반 검색: 검색 결과에 노이즈 추가[34]
- 다층 프롬프트 방어: 입력 검증, 출력 필터링, 컨텍스트 격리[40][44]
2.4 LLM의 응답 시 프라이버시 보호
정보보호 요소
- 출력 필터링(Output Filtering): 응답에서 민감정보 검출 및 제거[45][46][12]
- 노이즈 주입(Noise Injection): 응답에 교정된 노이즈 추가[34]
- 출력 무작위화(Output Randomization): 확률 분포 조정으로 정보 유출 방지[28]
- 사후 처리 검증(Post-Processing Validation): 응답 생성 후 민감정보 검사[45]
주요 위협
- 모델 기억 정보 유출(Memorization Leakage): 학습 데이터를 그대로 재현[25][24]
- 데이터 추출 공격: 특정 프롬프트로 민감정보 유도 추출[12][24]
- 환각(Hallucination) 기반 정보 노출: 잘못된 정보에 실제 민감정보 혼재[47]
- 속성 추론 공격(Attribute Inference): 응답을 통해 훈련 데이터 속성 추론[48][23]
응답 시 프라이버시 보호 연구별 문제점 및 개선점
문제점:
- 출력 필터링만으로는 교묘한 정보 유출 방지 불가[45][12]
- 과도한 노이즈 주입은 응답 품질 저하[34]
- 실시간 검증의 계산 오버헤드[45]
개선점:
- Privacy-Aware Decoding (PAD): 생성 시 토큰 수준에서 선택적 노이즈 주입[34]
- 신뢰도 기반 스크리닝: 고위험 토큰만 선택적 보호[34]
- 민감도 추정(Sensitivity Estimation): 불필요한 노이즈 최소화[34]
- 문맥 인식 노이즈 보정: 프라이버시와 품질 균형[34]
- Rényi Differential Privacy 회계: 응답별 프라이버시 손실 추적[34]
- 다단계 출력 검증: 패턴 매칭, NER, LLM 기반 검증 조합[46][45]
2.5 Agent와 프라이버시 보호
정보보호 요소
- 메모리 보안(Memory Security): 단기/장기 메모리 접근 제어[49][50][5]
- 도구 호출 제한(Tool Call Restriction): 외부 API 호출 시 권한 제어[50][51]
- 다중 턴 상호작용 보안: 대화 히스토리 보호[52][49]
- 컨텍스트 격리(Context Isolation): 작업별 컨텍스트 분리[49]
주요 위협
- 메모리 추출 공격(Memory Extraction Attack, MEXTRA): Agent 메모리에서 사용자 정보 추출[52][49]
- 메모리 중독 공격(Memory Poisoning): 악의적 데이터를 메모리에 삽입[50][5]
- 컨텍스트 하이재킹(Context Hijacking): 악의적 앱이 컨텍스트 조작하여 정보 탈취[49]
- 도구 오용(Tool Misuse): 권한 없는 API 호출 및 데이터 접근[51][50]
Agent와 프라이버시 보호 연구별 문제점 및 개선점
문제점:
- LLM Agent는 실시간 사용자 데이터를 처리하여 프라이버시 위험 증가[50][49]
- 메모리 모듈이 민감한 사용자-에이전트 상호작용 기록을 저장[49]
- 다중 턴 대화에서 누적된 컨텍스트를 통한 정보 유출[5]
개선점:
- AirGapAgent: 컨텍스트 격리 및 데이터 최소화로 정보 유출 방지[49]
- 메모리 접근 제어: 작업별 메모리 접근 권한 세분화[50][49]
- Locator-Aligner 방어: 공격 프롬프트 패턴 탐지 및 차단[52]
- 페더레이션 메모리 관리: 민감정보를 로컬에 보관하고 일반 지식만 공유[50]
- 투명성 및 사용자 제어: 사용자가 Agent의 데이터 접근 행위를 모니터링[53][50]
2.6 MCP 기반 서비스의 프라이버시 보호
정보보호 요소
- 세밀한 접근 제어(Fine-Grained Access Control): 도구/데이터별 최소 권한 부여[11][54]
- 암호화 통신(Encrypted Communication): 전송 중 및 저장 시 암호화[54][11]
- 감사 추적(Audit Trail): MCP 요청 및 데이터 접근 로깅[11][54]
- 토큰 보안: MCP 서버 인증 토큰 암호화 저장[54][11]
주요 위협
- 민감 데이터 유출(Sensitive Data Leakage): MCP를 통한 AI 모델의 광범위한 데이터 접근으로 유출 위험[55][11]
- 무단 접근(Unauthorized Access): 과도한 권한 부여로 불필요한 데이터 접근[55][11]
- 추론 추적 및 모니터링: MCP 사용 패턴을 통한 민감정보 추론[11]
- 감사 로그 노출: 보안되지 않은 감사 로그에서 민감정보 유출[11]
- 악의적 MCP 서버: 신뢰할 수 없는 서버를 통한 공격[56][55]
MCP 기반 서비스의 프라이버시 보호와 연구별 문제점 및 개선점
문제점:
- MCP는 AI에게 광범위한 시스템 접근 권한을 부여하여 집중화된 공격 표면 생성[55][11]
- 과도한 권한 요청(예: 읽기만 필요한데 읽기/쓰기 권한 부여)[11]
- MCP 서버 간 신뢰 경계 불명확[57][55]
- 로컬 vs 원격 MCP 서버의 보안 위험 차이[54]
개선점:
- 최소 권한 모델(Least Privilege Model): 작업별 필요 최소 권한만 부여[54][11]
- 범위 지정 권한(Scoped Permissions): 특정 폴더/데이터에만 접근 가능하도록 제한[11]
- 암호화 표준 적용: TLS, 인증서 검증, 최신 암호화 기준 적용[11]
- 프라이버시 보존 추론: 온프레미스 처리, 동형 암호화(HE), 안전한 다자간 계산(SMPC)[38][11]
- MCP 생명주기 보안: 생성-배포-운영-유지보수 단계별 보안 통제[55]
- 위협 분류 체계: 악의적 개발자, 외부 공격자, 악의적 사용자, 보안 결함별 대응 전략[55]
- 샌드박싱(Sandboxing): MCP 서버를 격리된 환경에서 실행[56][54]
3. 주요 프라이버시 보호 기술 상세 분석
3.1 차등 프라이버시(Differential Privacy)
핵심 원리: 개별 데이터 포인트의 포함 여부가 모델 출력에 미치는 영향을 수학적으로 제한하여 프라이버시 보장[18][19]
주요 방법:
- DP-SGD (Differentially Private Stochastic Gradient Descent): 그래디언트에 노이즈 추가 및 클리핑[33][19]
- 사용자 레벨 DP: 개별 샘플이 아닌 사용자 단위 프라이버시 보호[17]
- Rényi DP: 더 효율적인 프라이버시 회계[23][34]
장점: 수학적으로 증명 가능한 프라이버시 보장[19][18]
한계: 모델 성능 저하, 높은 계산 비용, 프라이버시 예산(ε) 설정의 어려움[30][17]
최신 연구:
- Google VaultGemma: 대규모 DP 기반 LLM[19]
- Fine-tuning with user-level DP: 사용자 데이터 보호 강화[17]
3.2 연합학습(Federated Learning)
핵심 원리: 데이터를 중앙으로 집중하지 않고 분산된 노드에서 학습 후 모델 파라미터만 공유[21][22][20]
주요 방법:
- 수평 연합학습: 동일 특성, 다른 샘플을 가진 참여자[21]
- 수직 연합학습: 동일 샘플, 다른 특성을 가진 참여자[21]
- 연합 전이학습: 데이터와 특성이 모두 다른 경우[21]
장점: 데이터 로컬 유지, GDPR/HIPAA 준수 용이, 규제 산업 적용 가능[21]
한계: 통신 오버헤드, 전역 모델에서 여전히 데이터 추출 가능, 악의적 참여자 대응 필요[20][31]
최신 연구:
- FL + DP 통합: 연합학습에 차등 프라이버시 적용[31][29]
- LLM 프로그램 수정에서의 FL 적용: 프라이버시 보호 협업 학습[58][59]
3.3 동형 암호화(Homomorphic Encryption)
핵심 원리: 암호화된 상태에서 연산 수행 가능[60][61][37][62]
주요 방법:
- BFV (Brakerski-Fan-Vercauteren): 정수 연산에 적합[37]
- CKKS (Cheon-Kim-Kim-Song): 실수 연산 지원[61]
- 완전 동형 암호화(FHE): 모든 연산 지원[60]
장점: 데이터가 항상 암호화 상태 유지, 클라우드 환경에서 강력한 보안[37][60]
한계: 높은 계산 비용, 추론 속도 저하, 복잡한 구현[61][60]
최신 연구:
- Apple의 HE 구현: BFV 기반 128비트 포스트-양자 보안[37]
- Encryption-Friendly LLM 아키텍처: LoRA와 Gaussian kernels로 6.94배 속도 향상[61]
3.4 안전한 다자간 계산(Secure Multi-Party Computation, SMPC)
핵심 원리: 여러 참여자가 각자의 데이터를 공개하지 않고 공동 연산 수행[63][64][65][66]
주요 방법:
- 비밀 공유(Secret Sharing): 데이터를 여러 조각으로 분할[65][29]
- Garbled Circuits: 회로 난독화를 통한 보안 연산[66][63]
- 혼합 프로토콜: Arithmetic, Boolean, Garbled worlds 전환[63]
장점: 중앙 신뢰 기관 불필요, 양자 안전성, 참여자 간 데이터 비공개[66]
한계: 통신 오버헤드, 참여자 수 증가 시 복잡도 증가, 다수 정직 가정[66]
최신 연구:
- SWIFT: 4PC 프레임워크로 출력 보장[64]
- Trident: 효율적인 4PC 혼합 세계 프레임워크[63]
3.5 합성 데이터 생성
핵심 원리: 실제 데이터의 통계적 특성을 유지하면서 인공 데이터 생성[32][15][18][23]
주요 방법:
- GAN (Generative Adversarial Networks): 생성자-판별자 적대적 학습[32][23]
- VAE (Variational Autoencoders): 확률적 잠재 공간 인코딩[32]
- DP-GAN: 차등 프라이버시를 적용한 GAN[23]
- LLM 기반 합성 데이터: LLM을 활용한 텍스트 합성 데이터 생성[22][15]
장점: 민감정보 노출 없이 데이터 공유, 데이터 부족 문제 해결[32]
한계: 품질과 프라이버시 트레이드오프, 평가 메트릭 표준화 부족, 모드 붕괴[32][23]
최신 연구:
- DP 기반 합성 텍스트 생성: LLM에 차등 프라이버시 적용[15][18]
- Privacy 메트릭: DCR, 속성/멤버십 추론 공격 저항성[23]
4. 영역별 정보보호 기술 매핑 Matrix
| 영억 | 주요 기술 | 적용단계 | 방어대상 위협 |
| 데이터 프라이버시 보호 | 데이터 비식별화, PII 탐지, 합성 데이터 | 데이터 수집/준비 | 민감정보 노출, 재식별 공격 |
| LLM 학습 데이터 보호 | 차등 프라이버시, 연합학습, 데이터 정화 | 전처리, 학습 | 학습 데이터 추출, 멤버십 추론, 백도어 공격 |
| LLM 검색/분석 보호 | 프라이버시 보존 RAG, 쿼리 난독화, 암호화 검색 | 추론(검색) | 검색 데이터 유출, 프롬프트 인젝션 |
| LLM 응답 보호 | 출력 필터링, Privacy-Aware Decoding, 사후 검증 | 추론(생성) | 모델 기억 유출, 데이터 추출 공격 |
| Agent 프라이버시 보호 | 메모리 접근 제어, 컨텍스트 격리, 도구 제한 | Agent 운영 | 메모리 추출, 컨텍스트 하이재킹 |
| MCP 보안 | 세밀한 접근 제어, 암호화 통신, 감사 추적 | 서비스 인터페이스 | 무단 접근, 데이터 유출, 악의적 서버 |
5. 종합 프라이버시 보호 전략
5.1 생명주기 기반 접근
전처리 단계:
- 데이터 정화 및 비식별화[8][9][6]
- PII 탐지 및 제거/대체[16][6]
- 합성 데이터 생성[15][32][23]
학습 단계:
- 차등 프라이버시 적용(DP-SGD)[33][19]
- 연합학습 활용[20][31][21]
- 데이터 최소화 및 접근 제어[10][7]
추론 단계:
- 출력 필터링 및 사후 검증[46][45]
- Privacy-Aware Decoding[34]
- 암호화 추론(HE, SMPC)[60][37][66]
배포/운영 단계:
- 감사 로깅 및 모니터링[54][11]
- 접근 제어 및 권한 관리[10][11]
- 지속적 위협 평가[55]
5.2 계층적 방어 전략 (Defense in Depth)
- 데이터 계층: 비식별화, 암호화, 접근 제어
- 모델 계층: 차등 프라이버시, 연합학습, 정규화
- 추론 계층: 출력 필터링, 프롬프트 검증, 노이즈 주입
- 인터페이스 계층: 입력 검증, API 제한, 인증/인가
- 모니터링 계층: 감사 로깅, 이상 탐지, 사고 대응
6. 향후 연구 방향
6.1 기술적 과제
- 프라이버시와 성능 간 트레이드오프 최적화[30][17]
- 다국어 및 다중모달 환경에서의 프라이버시 보호[5]
- 실시간 처리를 위한 경량화된 프라이버시 기술[60][34]
- 표준화된 프라이버시 평가 메트릭 개발[67][23]
6.2 정책적 과제
- GDPR, HIPAA, AI Act 등 규제 준수 프레임워크[3][7]
- 프라이버시 바이 디자인(Privacy by Design) 원칙 적용[68][6]
- 사용자 동의 및 투명성 강화[53][7][50]
- 산업별 프라이버시 가이드라인 수립[69][68]
6.3 신흥 위협 대응
- Agentic AI의 프라이버시 위험[13][5]
- 멀티모달 LLM의 프라이버시 취약점[5]
- MCP 생태계의 보안 표준화[55][11]
- 양자 컴퓨팅 시대의 암호화 대응[70][37]
7. 결론
LLM 기반 시스템의 프라이버시 보호는 데이터 수집부터 서비스 제공까지 전 생명주기에 걸친 종합적 접근이 필요합니다. 본 연구에서는 6개 주요 영역별 정보보호 요소를 정의하고, 최신 연구에서 제시된 위협과 대응 방안을 체계적으로 정리하였습니다.
주요 발견사항:
- 차등 프라이버시와 연합학습은 학습 단계의 핵심 기술이나 성능 저하와 구현 복잡도가 과제[31][20][17]
- 동형 암호화와 SMPC는 강력한 보안을 제공하나 실시간 서비스에는 계산 오버헤드가 부담[61][66][60]
- 합성 데이터와 비식별화는 실용적이나 재식별 위험과 품질 보장이 중요[14][23]
- LLM Agent와 MCP는 새로운 공격 표면을 생성하여 특화된 보안 통제 필요[49][11][55]
- 계층적 방어 전략과 생명주기 기반 접근이 효과적인 프라이버시 보호 프레임워크[68][5]
향후 연구는 프라이버시-성능 트레이드오프 최적화, 표준화된 평가 메트릭 개발, 그리고 Agentic AI와 MCP 같은 신흥 기술에 대한 프라이버시 프레임워크 구축에 집중되어야 합니다.
참고문헌
본 보고서는 118개 이상의 최신 연구 논문을 분석하여 작성되었으며, 주요 출처는 다음과 같습니다:
-
- Privacy Frameworks:,,,,,[2][71][3][68][1][5]
- Differential Privacy:,,,,[18][33][30][19][17]
- Federated Learning:,,,,[22][29][20][31][21]
- Homomorphic Encryption:,,,[62][37][60][61]
- Privacy Attacks:,,,,,[26][24][27][25][40][49]
- Synthetic Data:,,,,[15][18][14][32][23]
- RAG Security:,,,[72][35][36][34]
- Agent Privacy:,,,[51][52][50][49]
- MCP Security:,,,[73][54][11][55]
LLM과 프라이버시 논문 목록_20251110.csv
15.8 kB
📂 카테고리별 문헌 정리
🔐 개인정보 보호 & PII 익명화
- [6] Anonymize your PII data before sending it to an LLM
- [14] When Privacy Meets Performance: Smarter Way to Handle PII in LLMs
- [16] PII Anonymization in LLM Projects
- [112] LLM PII Anonymization Guide
📊 차등 프라이버시 (Differential Privacy)
- [15] Differential Privacy & Synthetic Data: Using LLMs for Private Text Generation
- [17] Fine-tuning LLMs with User-Level Differential Privacy
- [18] Protecting Users with Differentially Private Synthetic Training Data
- [29] Local Differential Privacy Based Federated Learning Framework
🌐 연합학습 (Federated Learning)
- [21] Federated Learning and LLMs
- [22] Synthetic and Federated Privacy-Preserving Domain Adaptation with LLMs
- [58] When Fine-Tuning LLMs Meets Data Privacy (Federated Learning in Program Repair)
- [119] GitHub – Federated Fine-Tuning of LLMs with Private Data
🧩 모델 컨텍스트 프로토콜 (MCP)
- [11] Privacy in Model Control Protocol (MCP): Risks and Protections
- [54] MCP: Understanding Security Risks and Controls (RedHat)
- [56] The Security Risks of MCP
- [57] MCP Landscape: Security Threats and Future Research Directions
- [90] MCP Security Best Practices
🛡️ 공격 기법 (Membership Inference, Training Data Extraction 등)
- [24] Membership Inference Attacks on LLMs
- [26] Extracting Training Data from LLMs (Carlini et al.)
- [28] Membership Inference Attack – StartupDefense
- [116] Training Data Extraction Attacks
- [117] Training Data Extraction Attacks and Countermeasures
- [118] Arxiv – Training Data Extraction in LLMs
🔑 암호화 (Homomorphic Encryption & Post-Quantum)
- [37] Apple ML Research – Homomorphic Encryption
- [39] Secure Your AI Embeddings with Homomorphic Encryption
- [62] AI21 Glossary – Homomorphic Encryption
- [70] Post-Quantum Private LLM: Fully Homomorphic Encryption at Scale
⚠️ 프롬프트 인젝션 & Jailbreak
- [40] OWASP LLM Risk 2023–24: Prompt Injection
- [41] How to Prevent Prompt Injection
- [42] Jailbreaking vs Prompt Injection
- [44] Bypassing Prompt Injection and Jailbreak Detection in LLM Guardrails
- [100] Guide to Prompt Injection – Lakera AI
- [103] What is a Prompt Injection Attack – Palo Alto Networks
📚 RAG (Retrieval-Augmented Generation) 보안
- [72] RAG Security and Privacy: Threat Model & Attack Surface
- [83] Secure RAG Unlocks Hidden Data
- [86] Prompting Guide – RAG Security Research
- [89] Arxiv – RAG Privacy Risks
- [93] Arxiv PDF – RAG Security and Privacy
🧠 메모리 & 에이전트 보안
- [52] Unveiling Privacy Risks in LLM Agent Memory
- [53] ACM Paper – Privacy Risks in LLM Memory
좋습니다 두립님 🙌
이제 전체 124개 문헌을 카테고리별로 정리한 자료를 엑셀 표 형식으로 변환해드리겠습니다.
📊 엑셀 구조 제안
엑셀 파일은 카테고리별 시트로 나누어 관리하면 가장 효율적입니다.
예시 구조는 다음과 같습니다:
시트 1: 개인정보 보호 & PII 익명화
| 번호 | URL | 제목 |
|---|---|---|
| 6 | https://mstack.nl/blogs/anonymize-pii-llm/ | Anonymize your PII data before sending it to an LLM |
| 14 | https://www.firstsource.com/insights/blogs/when-privacy-meets-performance-smarter-way-handle-pii-llms | When Privacy Meets Performance: Smarter Way to Handle PII in LLMs |
| 16 | https://tsh.io/blog/pii-anonymization-in-llm-projects/ | PII Anonymization in LLM Projects |
| 112 | https://dzone.com/articles/llm-pii-anonymization-guide | LLM PII Anonymization Guide |
시트 2: 차등 프라이버시 (Differential Privacy)
| 번호 | URL | 제목 |
|---|---|---|
| 15 | https://cubig.ai/blogs/differential-privacy-synthetic-data-using-llms-for-private-text-generation | Differential Privacy & Synthetic Data |
| 17 | https://research.google/blog/fine-tuning-llms-with-user-level-differential-privacy/ | Fine-tuning LLMs with User-Level Differential Privacy |
| 18 | https://research.google/blog/protecting-users-with-differentially-private-synthetic-training-data/ | Protecting Users with Differentially Private Synthetic Training Data |
| 29 | https://pure.seoultech.ac.kr/... | Local Differential Privacy Based Federated Learning Framework |
시트 3: 연합학습 (Federated Learning)
| 번호 | URL | 제목 |
|---|---|---|
| 21 | https://outshift.cisco.com/blog/federated-learning-and-llms | Federated Learning and LLMs |
| 22 | https://research.google/blog/synthetic-and-federated-privacy-preserving-domain-adaptation-with-llms-for-mobile-applications/ | Synthetic and Federated Privacy-Preserving Domain Adaptation |
| 58 | https://www.themoonlight.io/... | When Fine-Tuning LLMs Meets Data Privacy |
| 119 | https://github.com/ritwiks9635/Federated-Fine-tuning-of-LLMs-with-Private-Data | GitHub – Federated Fine-Tuning |
시트 4: MCP (Model Context Protocol)
| 번호 | URL | 제목 |
|---|---|---|
| 11 | https://privacylicense.ai/... | Privacy in MCP: Risks and Protections |
| 54 | https://www.redhat.com/... | MCP: Understanding Security Risks |
| 56 | https://www.pillar.security/... | The Security Risks of MCP |
| 57 | https://www.themoonlight.io/... | MCP Landscape: Security Threats |
| 90 | https://modelcontextprotocol.io/... | MCP Security Best Practices |
시트 5: 공격 기법 (Membership Inference, Extraction)
| 번호 | URL | 제목 |
|---|---|---|
| 24 | https://www.fuzzylabs.ai/... | Membership Inference Attacks |
| 26 | https://www.usenix.org/... | Extracting Training Data from LLMs |
| 28 | https://www.startupdefense.io/... | Membership Inference Attack |
| 116 | https://www.nightfall.ai/... | Training Data Extraction Attacks |
| 117 | https://antispoofing.org/... | Training Data Extraction Countermeasures |
| 118 | https://arxiv.org/abs/2309.10254 | Arxiv – Training Data Extraction |
시트 6: 암호화 (Homomorphic & Post-Quantum)
| 번호 | URL | 제목 |
|---|---|---|
| 37 | https://machinelearning.apple.com/... | Homomorphic Encryption – Apple ML |
| 39 | https://www.getjavelin.com/... | Secure AI Embeddings with Homomorphic Encryption |
| 62 | https://www.ai21.com/... | Homomorphic Encryption – AI21 Glossary |
| 70 | https://cornami.com/... | Post-Quantum Private LLM |
시트 7: 프롬프트 인젝션 & Jailbreak
| 번호 | URL | 제목 |
|---|---|---|
| 40 | https://genai.owasp.org/... | OWASP LLM Risk: Prompt Injection |
| 41 | https://www.offsec.com/... | How to Prevent Prompt Injection |
| 42 | https://www.promptfoo.dev/... | Jailbreaking vs Prompt Injection |
| 44 | https://www.themoonlight.io/... | Bypassing Prompt Injection Detection |
| 100 | https://www.lakera.ai/... | Guide to Prompt Injection |
| 103 | https://www.paloaltonetworks.com/... | What is a Prompt Injection Attack |
시트 8: RAG 보안
| 번호 | URL | 제목 |
|---|---|---|
| 72 | https://www.themoonlight.io/... | RAG Security and Privacy |
| 83 | https://dualitytech.com/... | Secure RAG Unlocks Hidden Data |
| 86 | https://www.promptingguide.ai/... | RAG Security Research |
| 89 | https://arxiv.org/... | Arxiv – RAG Privacy Risks |
| 93 | https://arxiv.org/pdf/... | Arxiv PDF – RAG Security |
시트 9: 메모리 & 에이전트 보안
| 번호 | URL | 제목 |
|---|---|---|
| 52 | https://www.themoonlight.io/... | Privacy Risks in LLM Agent Memory |
| 53 | https://dl.acm.org/... | ACM Paper – Privacy Risks in LLM Memory |
📚 문헌 정리 (번호–URL–제목)
| 번호 | URL | 제목 |
|---|---|---|
| [21] | https://outshift.cisco.com/blog/federated-learning-and-llms | Federated Learning and LLMs |
| [22] | https://research.google/blog/synthetic-and-federated-privacy-preserving-domain-adaptation-with-llms-for-mobile-applications/ | Synthetic and Federated Privacy-Preserving Domain Adaptation with LLMs for Mobile Applications |
| [23] | https://arxiv.org/html/2504.16506v2 | Arxiv 논문 (Privacy-Preserving Domain Adaptation in LLMs) |
| [24] | https://www.fuzzylabs.ai/blog-post/membership-inference-attacks-on-llms | Membership Inference Attacks on LLMs |
| [25] | https://arxiv.org/html/2310.01424v2 | Arxiv 논문 (Membership Inference in LLMs) |
| [26] | https://www.usenix.org/system/files/sec21-carlini-extracting.pdf | Extracting Training Data from Large Language Models (Carlini et al., USENIX Security 2021) |
| [27] | https://openreview.net/pdf?id=4uyyLG4KCH | OpenReview 논문 (Privacy Risks in LLMs) |
| [28] | https://www.startupdefense.io/cyberattacks/membership-inference-attack | Membership Inference Attack – StartupDefense Blog |
| [29] | https://pure.seoultech.ac.kr/en/publications/a-privacy-preserving-local-differential-privacy-based-federated-l | A Privacy-Preserving Local Differential Privacy Based Federated Learning Framework |
| [30] | https://arxiv.org/abs/2501.18914 | Arxiv 논문 (Federated LLM Privacy Approaches) |
| [31] | https://aclanthology.org/2025.findings-emnlp.1303/ | ACL Anthology (Findings of EMNLP 2025) – Privacy in LLMs |
| [32] | https://www.artificialintelligencepub.com/jairi/article/view/jairi-aid1004/5887 | Journal of Artificial Intelligence Research Insights – Privacy Risks in LLMs |
| [33] | https://aclanthology.org/2024.findings-emnlp.491.pdf | ACL Anthology (Findings of EMNLP 2024) – Privacy-Preserving LLMs |
| [34] | https://arxiv.org/html/2508.03098v1 | Arxiv 논문 (LLM Privacy Threats) |
| [35] | https://aclanthology.org/2024.findings-acl.267.pdf | ACL Anthology (Findings of ACL 2024) – Privacy in LLM Applications |
| [36] | https://arxiv.org/html/2508.08785v1 | Arxiv 논문 (LLM Security Risks) |
| [37] | https://machinelearning.apple.com/research/homomorphic-encryption | Homomorphic Encryption for Privacy-Preserving Machine Learning (Apple ML Research) |
| [38] | https://www.scirp.org/journal/paperinformation?paperid=142867 | SCIRP Journal – Privacy-Preserving LLMs |
| [39] | https://www.getjavelin.com/blogs/secure-your-ai-embeddings-with-homomorphic-encryption | Secure Your AI Embeddings with Homomorphic Encryption |
| [40] | https://genai.owasp.org/llmrisk2023-24/llm01-24-prompt-injection/ | OWASP LLM Risk 2023–24: Prompt Injection |
📚 문헌 정리 (61–80)
📚 문헌 정리 (81–100)
📚 문헌 정리 (101–124)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
반응형
'지식창고 > 논문연구' 카테고리의 다른 글
| 차등프라이버시 개인정보누출 위험정량화 (0) | 2025.11.24 |
|---|---|
| (논문연구) 구조방정식 파이썬과 AMOS 분석 (0) | 2025.11.12 |
| (연구) LLM(대형 언어모델)과 데이터의 AI 서비스 연계에서 정보보호 (0) | 2025.11.07 |
| 디자인 과학 연구 방법론(Design Science Research Methodology, DSRM) (0) | 2025.11.04 |
| (논문) 사회과학 논문에 자주 등장하는 학술영어 (0) | 2025.11.03 |