LLM 도덕 추론 벤치마크 Aligning AI With Shared Human Values (Hendrycks et al., 2021)

***
LLM 도덕 추론 벤치마크
# Aligning AI With Shared Human Values (Hendrycks et al., 2021) — 논문 심층 분석



APA: Hendrycks, D., Burns, C., Basart, S., Critch, A., Li, J., Song, D., & Steinhardt, J. (2021). Aligning AI with shared human values. Proceedings of ICLR.
연관성: LLM 도덕 추론 벤치마크의 선구적 연구로, 정의·의무·덕윤리·상식 도덕 등 5개 범주

## 연구 배경

2021년 당시 AI 윤리 연구는 공정성(Fairness), 안전성(Safety), 친사회적 행동(Prosocial Behavior), 유틸리티(Utility) 등 개별 협소한 영역에만 집중되어 있었으며, 각각의 접근법은 상호 호환 불가능한 수학적 기준(Kleinberg et al., 2017)을 사용하거나 특정 응용 분야에 국한된 한계를 가졌다 [1].

Hendrycks 연구팀은 이러한 분산된 연구들이 사실상 규범 윤리학(Normative Ethics)의 하위 개념들을 각각 분절적으로 다루고 있음을 간파하고, 이를 통합할 수 있는 포괄적 도덕 평가 기준의 부재 문제를 제기했다 [1].

"AI가 인간의 가치와 일치하도록 행동하길 원하지만, 지금까지 AI 시스템의 일반 인간 가치에 대한 이해를 측정할 방법이 없었다"는 점이 연구의 핵심 출발점이다 [2].

***

## 연구 목적

이 연구의 목적은 언어 모델이 **기본적인 도덕 개념에 대한 지식**을 얼마나 보유하고 있는지 평가하는 표준화된 방법을 제시하는 것이다 [1]. 구체적으로는 (1) 다양한 개방형 세계 시나리오에서 AI 모델의 도덕적 판단 예측 능력을 정량화하고, (2) AI 가치 정렬(Value Alignment) 연구를 위한 재현 가능한 기준선(Baseline)을 수립하며, (3) 미래의 챗봇 출력 제어나 강화학습 에이전트 정규화에 활용 가능한 도구를 제공하는 것이다 [2].

***

## 연구 방법

### ETHICS 데이터셋 구축
130,000개 이상의 자연어 시나리오를 수집·정제했으며, Amazon Mechanical Turk(MTurk)를 통해 영어권 주석자들이 시나리오를 생성하고 복수 검토자가 레이블링했다 [1]. 낮은 의견 일치율을 보이는 예시는 제거하여 명확성을 확보했으며, "대조 집합(Contrast Set)" 생성과 "적대적 필터링(Adversarial Filtration)"을 적용해 표면적 패턴(Spurious Cues)에 의한 오분류를 방지했다 [1].

### 평가 모델
BERT-base, BERT-large, RoBERTa-large, ALBERT-xxlarge를 파인튜닝 방식으로, GPT-3는 퓨샷(Few-shot) 방식으로 평가했다 [3]. 각 범주별로 이진 분류 또는 순위 비교 태스크를 설계했으며, 일반 테스트셋과 "Hard Test Set"(적대적 필터링 적용)으로 이중 평가를 실시했다 [4].

***

## 5가지 범주 선택 근거 검증

저자들은 논문에서 5개 범주 선정에 대해 **명시적으로 4가지 이론적 근거**를 제시했다 [1].

| 선정 근거 | 상세 내용 |
|-----------|-----------|
| **①지적 유산 활용** | 각 윤리 이론은 수백~수천 년의 집단적 경험과 지혜에서 형성된 것으로, 컴퓨터 과학자들이 윤리를 "처음부터 재발명"하려 하지 말고 이 지적 유산을 활용해야 한다 |
| **②이론적 다원주의** | 사람마다 지지하는 윤리 이론이 다르기 때문에 하나의 이론(예: 정의론의 하위 개념인 공정성만)으로 기계 윤리를 대표하는 것은 단순하고 자의적이다 |
| **③실용적 보완성** | 예컨대 공리주의는 어려운 최적화 문제를 요구하는데, 다른 이론들이 계산적으로 효율적인 휴리스틱을 제공할 수 있다 |
| **④상식 도덕 보완** | 상식적 도덕 원칙은 일관성과 명확성이 부족할 수 있는데(Kagan, 1991), 나머지 4개 이론들이 더 일관되고 일반화 가능하며 해석 가능한 도덕적 추론을 제공한다 |

각 범주의 이론적 뿌리와 AI 연구와의 연결점은 아래와 같다 [1].

| 범주 | 기반 윤리 이론 | 핵심 개념 | 기존 AI 연구와의 연결 |
|------|--------------|-----------|----------------------|
| **정의(Justice)** | 사회계약론(Rawls, 1999), 법학(Justinian I, 533) | 공평성(Impartiality) + 응분(Desert) | 알고리즘 공정성 연구 |
| **의무론(Deontology)** | 칸트 의무론(Kant, 1785), 로스(Ross, 1930) | 규칙·의무·제약 | 안전 제약 시스템 |
| **덕윤리(Virtue Ethics)** | 아리스토텔레스(340 BC) | 성품 특성(character traits) | 챗봇 모방 학습 |
| **공리주의(Utilitarianism)** | 벤담(1781), 허치슨(1725), 묵자(BC 5세기) | 웰빙 최대화 | 인간 선호도 학습(RLHF) |
| **상식 도덕(Commonsense)** | 리드(Reid, 1788), 직관주의 | 직관적 도덕 판단 | 감성 예측(Sentiment Prediction) |

> **검증 결론:** 5개 범주 선택은 자의적이지 않으며, 서양 규범 윤리학의 주요 4대 이론 + 직관적 상식 도덕의 조합으로, 각 이론이 기존 AI 연구 흐름(공정성·안전·모방학습·선호도 학습)과 정확히 대응하도록 설계된 **의도적 포괄 설계**임이 원문에서 명확히 검증된다 [1].

***

## 연구 결과

모델 성능은 일반 테스트셋에서 ALBERT-xxlarge가 평균 71.0%, 적대적 Hard Test에서는 47.9%로 하락했으며, GPT-3(퓨샷)은 39.3%에 그쳤다 [4]. 범주별로는 **상식 도덕(Commonsense)과 공리주의(Utilitarianism)에서 상대적으로 높은 성능**, 정의·의무론·덕윤리에서 낮은 성능이 관찰됐다 [3]. RoBERTa-large의 유틸리티 함수 분석에서는 프레이밍 편향(framing bias)과 범위 무감각성(scope insensitivity) 같은 체계적 오류가 확인됐다 [1].

***

## 연구 시사점

이 연구는 AI 윤리 평가를 **좁은 수학적 제약에서 광범위한 자연어 시나리오 기반 평가**로 전환시킨 분기점 역할을 했다 [1]. 챗봇 출력 필터링, 강화학습 에이전트의 정규화, 법적 이해 능력 평가 등 다양한 하위 연구 방향을 제시했으며 [1], 이후 MoralBench(2024), DecodingTrust(2023), Responsible AI Initiative(2025)의 3차원 프레임워크 등 후속 연구의 직접적 기반이 됐다 [5][6].

***

## 연구 한계

- **문화적 편향:** 데이터 수집이 미국·캐나다·영국 영어 화자로 제한되었으며, 인도 주석자와의 비교에서 93.9%의 일치율로 소폭 불일치가 확인됐다 [1].
- **모호한 딜레마 배제:** 데이터셋이 의도적으로 명확한(unambiguous) 사례만 포함하기 때문에 현실의 복잡한 도덕적 딜레마를 재현하지 못한다 [1].
- **모델 도덕 불확실성 탐지 미흡:** 논쟁적 시나리오와 명확한 시나리오를 구분하는 AUROC가 ALBERT-xxlarge 기준 56%로 거의 랜덤 수준이었다 [1].
- **서구 이론 중심성:** 4개 기반 이론이 모두 서양 윤리 철학에 편중되어 있으며, 유교·불교 윤리 등 비서구 가치 체계는 반영되지 않았다 [1].

***

## 발전 방향

저자들이 직접 제시한 향후 과제는 다음과 같다 [1].

- 더 복잡한 시나리오를 위해 **법적 지식(legal knowledge)** 통합
- **인도·비영어권 문화**를 포함한 다언어·다문화 주석 확장
- 의무론과 의사결정이론(Decision Theory)의 결합을 위한 철학자-기술 연구자 협력
- **개별화된 가치(Individualized Values)** 및 소수 공동체 관점 포함
- 유틸리티 함수의 프레이밍 편향과 범위 무감각성 해소를 위한 모델 개선