연구 - 번역을 위해 인공 지능 및 대규모 언어 모델 사용

 

(연구)  번역을 위해 인공 지능 및 대규모 언어 모델 사용

(원문)  https://learn.microsoft.com/en-us/globalization/localization/ai/ai-and-llms-for-translation

• 08/17/2024

 

1. 연구 배경 및 문제점

• 최근 AI기반 번역 기술의 발전으로   AI를 사용할 것인지 아니면 인간 번역(HT)을 대체 하는 것이 이슈임
• AI 기반 번역은 LLM 기반 기술과 신경망 기계 번역(NMT) 으로 구분 됨
  

[ LLM과 신경망]

• LLM기반 AI는 특정 분야 (의료 등)의 전문 용어 가 있는 경우 신경망(NMT) 보다 성능이 좋이 못함
• LLM은  NMT보다 시간이 오래걸리고 비용이 더 비싸다.
• LLM은  NMT보다 더 많은 처리 능력을 요구합니다.

 

기계 번역의성장 

• Rules based machine translation: 각 언어의 사전과 문법 규칙을 기반으로 한 기계 번역
• 통계적 기계 번역: 이중 언어 텍스트 말뭉치의 통계적 분석을 기반으로 한 기계 번역
• 신경망 기계 번역(NMT): NMT는 또한 통계 분석을 사용하여 단어 시퀀스의 가능성을 예측합니다. 전체 문장을 모델링하기 위해 신경망에 의존합니다.

 

• AI 기반 번역 기술은 빠르게 발전하고 있지만, 저자원 언어(low-resource languages) 및 문맥 유지(context preservation)에서 여전히 한계가 존재함.

 

LLM을 이용한 번역 장점

• 리스크 관리
• 고품질 출력 보장
• 총 소유 비용
• 시스템 성능
• 사람과 프로세스에 미치는 영향

 MT와 달리 LLM이 날조나 환각을 유발할 수 있기 때문에 특히 중요합니다.

*  AI로의 전환은 각 제품, 콘텐츠 유형, 시장, 언어 및 고객 기대치의 세부 사항에 맞게 조정된 단계별 프로세스 

• 기존 번역 모델은 단어 단위 또는 문장 단위로 번역을 수행하여 문서 전체의 의미를 유지하는 데 어려움이 있음.
• LLM을 활용한 번역은 더 자연스러운 문맥 유지가 가능하지만, 안전성 문제(예: 민감한 내용 필터링)로 인해 일부 번역이 누락될 수 있음.
  
  
  
• 전통적인 NLP대규모 언어 모델

  기능당 하나의 모델이 필요합니다.	단일 모델은 많은 자연어 사용 사례에 사용됩니다.
  ML 모델을 학습시키기 위해 레이블이 지정된 데이터 집합을 제공합니다.	파운데이션 모델에서 레이블이 지정되지 않은 수 테라바이트의 데이터를 사용합니다.
  모델이 수행하기를 원하는 작업을 자연어로 설명합니다.	특정 사용 사례에 고도로 최적화되었습니다.

 

LLM이 하지 못하는 것

선택할 수 있도록 LLM이 무엇을 할 수 없는지 이해하는 것도 똑같이 중요합니다.

• 언어 이해: LLM은 기존 텍스트를 기반으로 패턴을 결합하여 더 많은 텍스트를 생성하는 예측 엔진입니다. 언어나 수학을 이해하지 못합니다.
• 사실 이해: LLM에는 정보 검색과 창의적인 글쓰기를 위한 별도의 모드가 없습니다. 단순히 다음으로 가장 가능성이 높은 토큰을 예측합니다.
• 매너, 감정 또는 윤리 이해: LLM은 의인화를 보이거나 윤리를 이해할 수 없습니다. 기본 모델의 출력은 학습 데이터와 프롬프트의 조합입니다.

 

 

 

2. 연구 방법

• OpenAI의 GPT-4 및 Google의 Gemini와 같은 최신 LLM 모델을 사용하여 번역 성능을 평가.
• 18세기 오스만 터키어 문서를 영어로 번역하는 실험을 수행하여 역사적 문서 번역의 한계를 분석.
• 번역된 텍스트에서 안전 필터링이 적용된 부분을 확인하여 LLM의 번역 품질과 제한점을 평가.

 

3. 연구 절차 및 과정

• 다양한 번역 모델을 비교하여 LLM의 번역 품질을 평가.
• 문서 전체 번역과 문장 단위 번역을 비교하여 문맥 유지 능력을 분석.
• 안전 필터링이 번역 품질에 미치는 영향을 조사하여, 번역 모델의 한계를 확인.

 

4. 연구 결과

• Gemini 모델은 14~23%의 문서를 "유해한 내용"으로 판단하여 번역하지 않음.
• 기존 번역 모델보다 문맥 유지 능력이 뛰어나지만, 안전 필터링으로 인해 번역이 불완전할 수 있음.
• 저자원 언어 번역에서는 기존 모델보다 성능이 우수하지만, 법률 및 인도적 번역에서는 정확성이 부족할 수 있음.

5. 향후 개선 방안

• 안전 필터링을 조정하여 번역 품질을 개선하는 연구 필요.
• 문서 전체 번역을 위한 새로운 LLM 훈련 방법 개발.
• 저자원 언어 지원을 강화하여 번역 모델의 범용성을 높이는 방향으로 연구 진행.

이 논문은 LLM 기반 번역의 가능성과 한계를 분석하며, 향후 연구 방향을 제시하고 있어요.

 

(참고) LLM과 신경망 기계 번역의  차이점

 

특징신경망 기계 번역(NMT)과 대규모 언어 모델(LLM) 비교

 

구분	신경망 (NMT)	대규모 언어모델 (LLM)
특징	단어 및 문장 단위 번역 NMT는 또한 통계 분석을 사용하여 단어 시퀀스의 가능성을 예측	문맥 기반, 자연스러운 표현 방대한 데이터에서 학습하여 문맥을 고려한 자연스러운 번역을 생성
목적	번역에 최적화됨	다양한 언어 처리 작업 수행
학습 데이터	이중 언어 말뭉치 사용	방대한 텍스트 데이터 학습
정확성	높은 번역 정확도	자연스러운 문장 생성 가능
속도	빠른 번역 처리	상대적으로 느림
비용	상대적으로 저렴	훈련 비용이 높음
전문 용어 처리	특정 도메인에 최적화 가능	전문 용어 번역이 어려울 수 있음
문맥 이해	문장 단위 번역	문서 전체 맥락을 고려 가능

 *  LLM은 자연스러운 문장을 생성하는 데 강점이 있지만, NMT는 정확성과 속도 면에서 더 효율적입니다

 

LLM 기반 번역의 개념적 특성

• 광범위한 언어 이해: LLM은 방대한 데이터에서 학습하여 문맥을 고려한 자연스러운 번역을 생성할 수 있습니다.
• 생성형 AI 특성: 번역뿐만 아니라 요약, 질의응답 등 다양한 언어 작업을 수행할 수 있습니다.
• 문맥 기반 번역: 단순한 단어 대체가 아니라 문서 전체의 흐름을 고려하여 번역을 생성합니다.
• 창의적 표현 가능: 기존 번역 모델보다 더 유창하고 자연스러운 문장을 만들 수 있습니다.
• 비용 및 속도 문제: NMT보다 처리 속도가 느리고, 훈련 비용이 높을 수 있습니다.

 

NMT 방식의 개념적 특성

• 정확한 번역: 특정 언어 쌍에 최적화된 모델로, 높은 번역 정확도를 제공합니다.
• 빠른 처리 속도: 실시간 번역이 가능하며, 대량의 텍스트를 빠르게 변환할 수 있습니다.
• 전문 용어 최적화: 특정 도메인(의료, 법률 등)에 맞춰 미세 조정이 가능하여 전문 번역에 강점을 가집니다.
• 비용 효율성: LLM보다 상대적으로 저렴한 비용으로 운영할 수 있습니다.
• 세그먼트 기반 번역: 문장 단위로 번역을 수행하며, 문맥을 고려하는 능력이 제한될 수 있습니다.