일반인을 대상으로 한 주관적 시험 평가의 한계

 

내가 예전에 진행했었던 프로젝트에서 경험한 일이다.

 

그 일은 먼저 CD 오디오 음원을 원본 그대로 추출하여 원본 음원을 따로 파일로 추출한다.

그 원본 음원을 오디오 인코더(audio encoder)를 이용하여 원본 음질이 열화되는 대신 저장 용량을 줄인 몇 가지 샘플을 추출한다.

이 때 사용한 '오디오 인코더'에 대해서는 모르는 사람이 많을텐데, 예를 들어 원음 PCM 파일을 MP3 파일로 압축하여 저장할 때 압축하는 역할을 하는 것이 바로 '오디오 인코더'다.

 

이렇게 제작한 원음과 샘플 음원을 전문가과 일반인을 여럿 모아 음원 비교 청취 시험을 한 적이 있다.

여기서 전문가는 지상파 방송국 PD, 엔지니어 등 해당 분야의 전문가도 있었지만, 음원을 평가하는데는 익숙하지 않은 일반인도 있었다.

 

당시 시험에 사용한 샘플과 평가방법을 정확하게 기억하지는 않기에 이 분야에 대해 모르는 분들도 어렵지 않게 이해할 수 있도록 평가 방법과 평가 결과를 나름 쉽게 각색하여 재구성해본다.

 

R = 정식 발매된 음반 CD에서 추출한 원본 음원 (음원 장르 별 여러가지 준비)

A = 위 R의 손상을 조금 감수하고서라도 용량을 줄인 음원 중 하나 (단, A는 B보다 기술적으로 음질이 약간 더 좋음.)

B = 위 R의 손상을 조금 더 감수하고서라도 용량을 줄인 음원 중 하나 (단, B는 A보다 기술적으로 음질이 약간 더 나쁨.)

 

이 때 음원 A, B를 제작할 때는 같은 '오디오 인코더'를 사용하여 다른 모든 설정은 동일하지만, A보다 B를 더 더 많이 압축하여 파일의 크기를 더 작게 줄이도록 설정한다.

이런 음원 R, A, B를 청취 시험 평가 하기 위해 음원의 종류를 여러가지 준비하고, 음원을 평가하기 위한 순서에 맞춰 CD에 저장한다.

 

음원 1R을 평가하기 위해서는 먼저 1R을 들려준다.

이후 다시 1R, 1A, 1B를 랜덤 순서로 섞은 후 차례대로 들려준다.

음원 사이 사이에는 신호음을 넣어 평가자가 음원이 바뀐다는 것을 알 수 있게 한다.

 

예를 들어, 음원은 이런 순서로 재생된다.

1R - 1A -1R - 1B

2R - 2R -2A - 2B

3R - 3B -3R - 3A

4R - 4A -4B - 4R

5R - 5B -5A - 1R

6R - 6R -6B - 6A
...

 

평가자는 처음 들린 음원이 원본 음원임을 귀로 듣고 숙지한다.

각 음원의 사이 사이에는 평가를 기록할 시간을 잠깐 준다.

해당 음원의 평가가 끝나면 평가를 정리할 시간을 조금 더 준 후 다음 음원의 평가를 이어간다.

 

가장 먼저 할 일은 처음 들려준 R과 같은 음원을 찾고, 나머지 2개의 음원에 대해 R 대비 음질이 어떠한지를 평가하는 일이다.

그것을 점수화 하기 때문에 R 대비 어느 음원이 얼마나 나쁜지 그 정도 또한 중요하다.

 

시험 종료 후 청취 시험에 참석한 참가자가 직접 작성한 답안지를 제출받다 보면 재미있다.

전문가들은 대부분 정답을 맞추는 경우가 많다.

일반인 평가자 중에는 답안지를 제출하면서 R은 찾겠는데 A와 B의 구별은 잘 모르겠다던지, R과 A가 헷갈린다는 등 구별을 잘 못하겠다는 사람도 있다.
그 외에도 일부 일반인들은 처음 들려준 원음이 그 다음 재생된 3개의 음원 중 어느 것과 같은지 조차 찾지 못하기도 하고, 심지어 음질이 가장 나쁜 A가 원음 R과 같은 음원이라 고르는 사람도 있다.

이 청취시험은 문항이 여러개라 일정 갯수 이상 그런 오답을 제출한 사용자는 평가는 도저히 신뢰할 수 없기 때문에 통계 취합에서 제외한다.

 

내가 이런 주관적 평가를 전문가와 일반인을 한 자리에서 진행해 본 경험에 비춰볼 때 일반인 대상의 주관적 평가의 신뢰성은 평가자 선정을 포함한 평가 설계가 어떤지에 따라 달라질 수 있다 생각한다.

 

위의 예는 사람의 감각기관 중 하나인 청력을 기준으로 평가한 경우다.

이 처럼 문제를 출제한 사람이 정답을 알고 있는 때는 신뢰할 수 없는 평가자를 솎아낼 수 있다.

 

하지만, 사람의 미각과 후각을 통해 경험하는 술의 관능평가는 어떨까? 

이건 아예 정답이라는 것이 존재하지 않을 수도 있다.

어떤 사람은 단맛을 좋아하는데, 어떤 사람은 단맛을 싫어하기도 한다.

또 어떤 사람은 신맛을 좋아하는데, 또 다른 어떤 사람은 신맛을 싫어하기도 한다.

또 어떤 사람은 알코올 도수 높은 술을 좋아하는데, 또 다른 어떤 사람은 아예 알코올 도수 높은 술을 마시지 못하기도 한다.

또 어떤 사람은 누룩향이 나면 좋아하는데, 또 어떤 사람은 누룩향을 싫어하기도 한다.

그리고 이런 저런 것들을 평가자 본인의 취향에 부합하는지까지 고려하여 주관적인 기준으로 평가하여 점수화 할 수 있을테다.

그럼에도 불구하고 과연 모든 개개인이 평가하는 주관적 평가를 전부 신뢰할 수 있을까?

평가를 위한 충분한 교육과 훈련을 통해 단련된 사람이 아닌 모든 사람의 평가를 신뢰할 수 있을까?

일부 평가자의 평가를 신뢰할 수 없으면, 어떤 기준으로 그 평가를 배제할 수 있을까?

심지어 이런 평가를 모아 각자 다른 평가자들의 기준에 의해 총점을 매긴다면?

주류 관능평가 진행방식을 알지 못하니 나는 이에 대한 답을 알지 못한다.