논문 리뷰 : 코시 나이브 베이즈 분류기를 통해 표정의 감정 분석하기

---

Sebe, N., Lew, M. S., Cohen, I., Garg, A., & Huang, T. S. (2002, August).
Emotion recognition using a cauchy naive bayes classifier.
In Object recognition supported by user interaction for service robots (Vol. 1, pp. 17-20). IEEE.

---

 

1. 서론

2. 감정분석의 Features 선정

3. Cauchy Naive Bayes Classifier

4. 연구의 진행과 결과

5. 결론

 

---

 

1. 서론

 

논문 「Emotion recognition using a cauchy naive bayes classifier」는 Naive Bayes Classifier를 이용해서 얼굴 표정을 통해 감정을 파악하는 방법에 관한 연구이다.

본 연구에서는 특히, 분류기로써 사용하는 Naive Bayes 알고리즘에 대해 기존의 정규분포 가정 대신, Cauchy분포를 사용하고 있다. 이론적 배경으로써 제시한 연구는 Sebe, Lew, & Huijsmans (2000) 이다. 자세한 내용은 더 읽어봐야 하겠지만, 연구 결과를 Discussion을 통해 파악해보자면 content based retrieval, stereo matching, motion tracking, 이 세가지 computer vision 분야에 있어서 Naive Bayes Classifier가 정규분포, 지수분포, Cauchy분포 중 어떤 분포에 대한 가정이 이뤄졌을 때가 가장 우수한 결과를 도출하는가에 관한 연구였고, 전체적으로 Cauchy분포의 경우가 성능이 좋았었다고 서술하고 있다.

또한 표정에 관한 분석을 위해 Ekman, Friesen(1978)의 FACS(facial action coding system)을 참고한 것으로 보인다. FACS는 안면 근육의 움직임을 수십가지 정도로 정리한 AU(action unit)의 조합인데, 이를 통해 인간의 표정을 행복, 놀람, 슬픔, 공포, 분노의 여섯가지 universal한 분류로 나눌 수 있다고 한다.

인터넷에서 한번쯤 봐왔던 표정 분석의 원리가 이거였던 걸까?

물론 본 연구에서는 이것 외에도 더 많은 참고문헌이 있지만, 중심적으로 아이디어가 된 건 이 두 연구인 것 같다.

즉, FACS를 통해 표정을 분류할건데, Cauchy분포를 이용한 Naive Bayes Classifier를 쓰겠다는 것이 이 연구의 서론이라고 볼 수 있다.

 

---

 

2. 감정분석의 Features 선정

 

표정을 입력하면 감정 상태를 분류하는 것이 목표인 이 연구에서, features는 당연히 표정(혹은 FACS와 같은 안면 근육의 움직임에 관한 정보)인 것은 어느정도 파악할 수 있었다.

「Emotion recognition using a cauchy naive bayes classifier」 중 해당 내용 발췌.

좀 더 구체적으로, 이 연구에서 다루는 features는 12개다. 수십개나 되는 FACS 코드를 모두 사용하기보단, 단순화하는 선택을 한 것 같다. 3d face wireframe model을 통해 수십개의 FACS 코드 중 중요한 것만을 고르는 선행 연구들을 참고하여, 위 그림과 같은 12개의 features를 추출한 것으로 보인다.

 

---

 

3. Cauchy Naive Bayes Classifier

 

$$\hat{y}=\underset{k}{\operatorname{argmax}} {p(C_k)\prod_{i=1}^n p(x_i|C_k)}$$

 

위는 Naive Bayes Classification을 한 줄로 정리한 수식이다. 본 연구에서는 확률값 p의 추정에 있어 Cauchy분포를 가정하기로 했다. 선행 연구에 따르면, 정규분포 가정이 적절하지 않은, 꼬리가 두꺼운 분포에 대해 Cauchy분포가 더 좋은 성능을 가져온다고 한다.

 

$$L(x_i|y;a_i,b_i)=\prod_{d=1}^n \left[{b_i \over \pi({b_i}^2+({x_i}^d-a_i)^2)}\right]$$

 

Cauchy분포의 pdf를 적용하면 위와 같이 정리되며 a는 location parameter, b는 scale parameter이다.

a는 분포의 위치를 결정하며, b는 분포의 모양(산포도)를 결정해준다. 정규분포의 $\mu$랑 $\sigma$와 같은 역할을 한다는 의미다. 이 두 parameter의 추정은 maximum likelihood 를 통해 추정할 수 있다.

항상 하던 방식대로, 위의 식을 a와 b에 대해서 각각 미분해주면 되겠다.

 

$$\sum_{d=1}^n{ {{x_i}^d-\hat{a_i}} \over {\hat{b_i}}^2+({x_i}^d-\hat{a_i})^2} =0$$ $$\sum_{d=1}^n{ {\hat{b_i}}^2 \over {{\hat{b_i}}^2+({x_i}^d-\hat{a_i})^2} }={n\over2}$$

 

그리하여 얻어진 위 식을 통해 a와 b의 최대 우도 추정량을 구해서 쓸 수 있을 것이다. 참고로, 위 식은 고차다항식으로, 본 연구에서는 해를 찾는 방법으로써 Newton-Raphson법을 제시하였다.

 

---

 

4. 연구의 진행과 결과

 

연구의 알고리즘을 요약하자면,

 

1. model parameter의 ML 추정량을 두 경우(정규분포, Cauchy분포) 각각 구한다.
2. train set에서 무작위 샘플을 추출하여 분류를 진행한 뒤, 어떤 분포의 결과가 좋은지를 파악한다.
3. train set 자료를 통해 분류를 진행한다.

 

첫번째로, 사람 별로 수행한 Person dependent experiment에서는 정규분포의 accuracy가 79.36%, Cauchy분포의 accuracy가 80.05%로, Cauchy분포가 유의미한 성능 향상을 가져오지 않았다. 

두번째로, 사람 구분 없이 수행한 Person independent experiment에서는 정규분포의 accuracy가 58.94%, Cauchy분포의 accuracy가 63.58%로, Cauchy 분포가 Set별 평균적으로 5% 내외의 성능 향상을 가져왔다.

 

「Emotion recognition using a cauchy naive bayes classifier」 중 해당 내용 발췌.

위 표는 Cauthy분포를 이용 했을 때의 결과로, 사람에 대한 구분이 없는 상태에서도 해당 표정을 가진 사람의 감정 상태가 긍정적인가 부정적인가를 구분하는데에 80% 이상의 accuracy를 가지고 있음을 보여준다.

 

---

 

5. 결론

Cauchy 분포의 도입은 나이브 베이즈 분류기를 이용한 표정에 따른 감정 분류의 정확도 향상에 긍정적 영향을 준다.

본 연구는 이미지와 비디오에 대한 분류에 대해 기여했으며 향후 연구를 통해 해당 표정 분석이 인간의 음성 분석 등과 함께 쓰였을 경우 인간의 감정에 대한 컴퓨터의 이해능력 향상에 도움이 될 것으로 예상된다고 한다.

 

---

 

Reference

Sebe, N., Lew, M. S., Cohen, I., Garg, A., & Huang, T. S. (2002, August).
Emotion recognition using a cauchy naive bayes classifier.
In Object recognition supported by user interaction for service robots (Vol. 1, pp. 17-20). IEEE.

Sebe, N., Lew, M. S., & Huijsmans, D. P. (2000).
Toward improved ranking metrics. 
IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(10), 1132-1143.

"Facial Action Coding System", wikipedia, en.wikipedia.org/wiki/Facial_Action_Coding_System

"Cauchy Distribution", wikipedia, en.wikipedia.org/wiki/Cauchy_distribution

Ekman, P., & Friesen, W. V. (1978).
Manual for the facial action coding system. Consulting Psychologists Press.

 

---

 

본 논문은 인간의 표정을 담은 이미지를 통해 감정을 분류할 수 있는가에 관한 선행 연구들을 기반으로, Cauchy Naive Bayes Classifier를 이용하여 해당 분류기의 성능을 향상시킨 연구이다. 논문 내 결론에서도 언급한 것처럼, 이러한 연구의 축적을 통해 사람의 표정이나 목소리를 통해 감정을 읽는 컴퓨터가 나온다면, 다양한 분야에서 활용 가능성이 있을 것이라고 생각한다.

 

---