잠재적 주제 분석(토픽모델링) 도구 - LSI pLSI LDA

*잠재적 주제 분석(토픽모델링) 도구 - LSI pLSI LDA *

잠재적 주제 분석(토픽 모델링)은 문서 집합에서 숨겨진 주제를 자동으로 추출하는 기법으로, 자연어 처리(NLP)와 텍스트 마이닝에서 널리 사용됩니다. 주요 기법으로는 LSI(잠재 의미 색인화), pLSI(확률적 잠재 의미 색인화), 그리고 LDA(잠재 디리클레 할당)가 있습니다.

이 기법들은 문서 분류, 요약, 추천 시스템, 여론 분석 등 다양한 응용 분야에서 활용됩니다.

LSI (Latent Semantic Indexing), pLSI (probabilistic Latent Semantic Indexing), 그리고 LDA (Latent Dirichlet Allocation)는 모두 텍스트 데이터에서 잠재적 주제를 찾아내는 데 사용되는 방법들입니다.

세 가지 방법은 서로 다른 방식으로 텍스트를 모델링하며, 그 차이를 이해하려면 접근 방식과 응용 방법을 비교하는 것이 중요합니다.

---

1. LSI (Latent Semantic Indexing, 잠재 의미 색인화)

• 방법: LSI는 SVD(특이값 분해, Singular Value Decomposition)를 사용하여 문서-단어 행렬에서 잠재적 의미를 추출합니다. 여기서 "의미"란 단어 간의 관계와 문서 간의 관계를 포함합니다.
• 특징:
  • 단어와 문서의 잠재적 의미적 차원을 축소하여 노이즈를 줄입니다.
  • 선형 관계를 가정합니다.선형 대수 기반으로 작동하며, 단순하지만 노이즈에 민감할 수 있습니다.
• 예시:
  문서 집합에서 "고양이"와 "개"라는 단어가 함께 자주 나타난다면 이 두 단어는 동일한 잠재 의미 공간에 있을 가능성이 높습니다. 이렇게 하면 "펫"과 관련된 문서를 검색할 때 "고양이"와 "개"를 모두 포함한 문서를 더 잘 찾아낼 수 있습니다.
• 한계: 확률적 모델이 아니기 때문에 단어 빈도수의 불확실성을 반영하지 못합니다.

---

2. pLSI (probabilistic Latent Semantic Indexing,확률적 잠재 의미 색인화)

• 방법: pLSI는 확률론적 접근 방식으로, 단어와 문서를 잠재적 주제에 연결하는 확률 분포를 모델링합니다.
• 특징:
  • 각 문서를 여러 주제로 분해하여 설명합니다.
  • 단어-문서 간의 조건부 확률을 기반으로 함.
  • 각 문서가 여러 주제의 혼합으로 구성된다고 가정하며, 주제와 단어 간의 확률 분포를 계산합니다.
• 예시:
  "스포츠"라는 주제에서 "축구"와 "농구"는 높은 확률로 등장하며, "음악"이라는 주제에서는 "피아노"와 "기타"가 더 자주 등장한다고 모델링할 수 있습니다.
• 한계: 새로 들어오는 문서에 대해 일반화(generalization)하기 어려움.

---

3. LDA (Latent Dirichlet Allocation,잠재 디리클레 할당)

• 방법: LDA는 pLSI를 확장하여 베이지안 프레임워크를 도입한 모델입니다. 문서와 단어 모두를 잠재적 주제의 혼합 확률분포로 간주합니다. pLSI의 한계를 보완한 기법으로, 디리클레 분포를 사용하여 문서 내 주제 분포와 주제 내 단어 분포를 추정합니다.
• 특징:
  • 주제 혼합과 주제 내 단어 분포를 동시에 모델링합니다.
  • 더 강력한 일반화 능력을 가집니다.
  • 가장 널리 사용되는 토픽 모델링 기법으로, 대규모 데이터에서도 효과적으로 작동합니다.
• 예시:
  "여행"이라는 주제에서 "비행기", "호텔", "관광"과 같은 단어가 높은 확률로 등장하며, 또 다른 문서에서는 "요리"라는 주제가 "식재료", "레시피", "요리법"을 포함하는 식으로 주제를 추론할 수 있습니다.
• 장점: 새 문서에도 적용 가능하며, 주제 수를 미리 정해 효율적으로 학습합니다.

---

LSI, pLSI, LDA의 비교

기법	모델링 방식	확률 모델	일반화 가능성	응용 분야
LSI	선형 대수 (SVD)	X	제한적	정보 검색, 추천 시스템
pLSI	확률 모델 (주제 분포 사용)	O	제한적	텍스트 클러스터링
LDA	베이지안 네트워크	O	강력	주제 모델링, 토픽 분석

---