When FinTech Meets Privacy: Securing Financial - LLMs with Differential Private Fine-Tuning
Sichen Zhu∗, Hoyeung Leung∗, Xiaoyi Wang†, Jia Wei‡, Honghui Xu‡§
DPFinLLM 기반 금융 감정 분석/고객 QA
1.금융에서 감정 분석은 중요하다
2. 감정 분석을 위한 자료 충분한 맥락 부족, 간결함
3. 기존 자연어 처리(NLP) 모델은 제약
4. 모델(LLM)은 뛰어난 제로샷(zero-shot) 우수
5. 금융 감정 분석을 위한 검색 증강 방안 제안
6. LLM이 감정 레이블 예측 변수로 동작하도록 하는 명령어 튜닝 LLM 모듈
7. 신뢰할 수 있는 외부 소스에서 추가 맥락을 검색하는 검색 증강 모듈을 포함
8.chatGPT, Llama대비 정확도와 F1 점수에서 15~48%의 성능 향상
검색 증강형 대규모 언어 모델을 통한 금융 감정 분석 강화
장보유, 양홍양, 저우천위, 무하마드 알리 바바르, 류샤오양
2023년 제4회 ACM 금융 AI 국제 학술대회 논문집, 349-356쪽
금융 감정 분석은 가치 평가 및 투자 의사 결정에 매우 중요합니다. 그러나 기존 자연어 처리(NLP) 모델은 매개변수 크기와 학습 데이터셋의 범위에 제약을 받아 일반화 능력과 효과성이 제한적입니다.
최근, 방대한 코퍼스를 기반으로 사전 학습된 대규모 언어 모델(LLM)은 뛰어난 제로샷(zero-shot) 능력 덕분에 다양한 자연어 처리 작업에서 탁월한 성능을 보였습니다. 그러나 LLM을 금융 감정 분석에 직접 적용하는 데에는 여러 가지 어려움이 있습니다.
LLM의 사전 학습 목표와 감정 레이블 예측 간의 불일치는 예측 성능을 저하시킬 수 있습니다. 또한, 충분한 맥락이 부족한 금융 뉴스의 간결함은 LLM 감정 분석의 신뢰성을 크게 떨어뜨릴 수 있습니다. 이러한 문제를 해결하기 위해 금융 감정 분석을 위한 검색 증강 LLM 프레임워크를 소개합니다.
이 프레임워크는 LLM이 감정 레이블 예측 변수로 동작하도록 하는 명령어 튜닝 LLM 모듈과 신뢰할 수 있는 외부 소스에서 추가 맥락을 검색하는 검색 증강 모듈을 포함합니다. ChatGPT 및 LLaMA와 같은 기존 모델 및 LLM과 비교했을 때, 우리의 접근 방식은 정확도와 F1 점수에서 15~48%의 성능 향상을 달성했습니다.
(참고논문)
☆☆ https://arxiv.org/pdf/2509.08995
https://scholar.google.com/scholar?hl=ko&as_sdt=0%2C5&q=Enhancing+financial+sentiment+analysis+via+retrieval+augmented+large+language+models%2C%E2%80%9D+&btnG=#d=gs_qabs&t=1758960594567&u=%23p%3D8C4o7X7WQagJ