여론조사에서 응답률 (response rate)과 협조율 (cooperation rate)의 차이
여론조사가 발달된 미국의 사례를 통해 우리나라의 여론조사를 비교해본다면 응답률 (response rate)에 관한 문제점을 더 명확히 인식할 수 있을 것입니다. 미국에서 여론조사에 관해 명성있는 기관을 뽑으라면, American Association for Public Opinion Research (AAPOR)와 Council of American Survey Research Organizations (CASRO)를 들 수 있습니다. 이 두 기관에서 말하는 응답률의 개념은 매우 비슷합니다. 그럼에도 가장 큰 차이점을 찾는다면, 응답적격여부가 알려지지 않은 경우 (unknown eligibility)를 어떻게 처리할 것이냐의 여부입니다. 결론적으로 AAPOR이 더 엄격하게 적용하기에 AAPOR 방법론을 사용하면 응답률은 상당히 낮게 나옵니다.
오늘 말하려는 내용은 이 두 기관의 응답률 방정식의 차이가 아니라, 응답률 (response rate)과 협조율 (cooperation rate)을 구분해서 사용함을 말하려고 합니다.
결론부터 말하면, 우리나라에서 사용하는 응답률은 미국의 협조율입니다.
먼저 다음과 같은 개념을 알아야 합니다. 맨 밑의 네개의 개념은 모르셔도 됩니다.
RR = Response rate 응답률
COOP= Cooperation rate 협조율
REF = Refusal rate 거절율
CON = Contact rate 접촉율
I = Complete interview 완성된 면접
P = Partial interview 부분 면접
R = Refusal and break-off 거부
NC = Non-contact 비접촉
O = Other 기타
UH = Unknown if household/occupied HU 응답적격여부가 알려지지 않은 가구원
UO = Unknown, other 응답적격여부가 알려지지 않은 기타 성원
e = Estimated proportion of cases of unknown eligibility that are eligible 결정되지 않은 응답적격여부 사례에 대한 추정량
응답률과 협조율의 차이를 보시겠습니다.
먼저 응답률입니다.
완성된 면접자
응답률3 = ————————————————————————————
(완성된 면접자+부분 면접자)+(거부자+비접촉자+기타)
+추정치(응답적격여부가 알려지지 않은 가구원과 기타성원)
그리고 협조율입니다.
완성된 면접자
협조율3 = ————————————————————————————
(완성된 면접자+부분 면접자)+거부자
1. 무엇을 말하고자 하는가?
조사 결과 중요한 것은 협조율이 아니라 응답률입니다.
협조율은 응답률에 보조적으로 제공되는 결과입니다.
그러나 우리나라에서는 협조율을 응답률인 양 사용하고 있습니다.
또한 중요한 것은 AAPOR에서는 응답률은 총 6개, 그리고 협조율은 총 4개 방식의 사례를 제공하고 있으며, 공표시 몇번의 응답률로 구했는지를 반드시 밝히라고 요청합니다. 제가 위에서 소개한 것은 가장 많이 활용하는 응답률3번과 협조율3번 식입니다. 물론 여기에 가중치가 들어가면 방정식은 더욱 복잡해집니다. 그러나 기본적인 차이를 밝히는데는 아무런 문제가 없습니다.
결론은 응답률과 협조율을 구분해서 사용해야 한다는 것입니다.
그리고 어떤 응답률 방식을 사용했는지 밝혀야 한다는 것입니다.
우리나라에서 사용하는 응답률 = 미국의 협조율
2. 이게 무슨 문제인가?
논의의 핵심은 분모에서 ‘비접촉자’와 추정치의 포함여부입니다. 비접촉자(접촉이 아예 이루어지지 않은 경우)의 여부가 중요하다는 얘기입니다.
왜 그런지 설명하겠습니다.
여론조사에서는 무응답자의 비율이 매우 중요합니다. 무응답률이 적을면 적을수록 좋겠죠?
그렇다면 무응답자의 비율이 왜 중요할까요?
비접촉자이든 거부자든 모두 무응답자인데, 무응답이 많은 경우 통계 결과에 두가지 큰 문제점을 발생시킬 수 있습니다. 통계학적으로 얘기하면, 계획했던 것보다 유효 표본 크기가 감소함에 따라 추정치의 표집 분산이 증가하고, 또한 응답자의 특성과 벗어나는 추정치 편향(bias of estimates) 에 영향을 미칩니다.
이를 쉽게 설명해보겠습니다.
비접촉자는 처음에 여론조사를 할 때부터 부터 표본에 포함돼 있습니다.
이 사람들이 어떤 사람인지는 모르지만, 모집단을 대표하는 샘플로서 자격을 갖게 됩니다. 따라서 이를 무작정 제외할 경우 결과에 문제를 발생 시킬 수 있습니다;.
대한민국을 대표해서 100명의 인터뷰 대상자를 뽑았는데, 바빠서 안오고, 늦어서 안오고, 아파서 안오고, 개인 약속이 있어서 안오고, 연락이 안돼서 못오고… 이렇게 수십명이 빠졌다면 나머지 사람들을 대상으로 인터뷰를 했을 때 대한민국을 대표한 인터뷰라고 얘기할 수 있을까요?
따라서 무응답률을 줄이는 것이 중요하고, 이때 비접촉자를 분모에서 완전히 빼면 큰 바이어스를 가져올 수 있습니다.
결론적으로, 협조율에는 비접촉자가 포함되지 않기때문에 협조율을 사용하면 비응답자의 비율이 현저하게 줄어들 수 있다는 장점이 있지만, 그 장점은 결국 결론을 잘못 추정하게 하는 오류를 태생적으로 지니게 됩니다.
3. 그러면, 응답률은 몇 퍼센트 정도가 되어야 하나?
응답률이 낮을 경우, 여론조사에 응한 사람과 안한 사람들 사이에 체계적인 차이 존재할 개연성 있으므로 조사의 신뢰도에 문제가 있을 수 있다고 말합니다. 상식적으로 보아도 높은 응답률은 좋겠죠. 그렇다면 몇 퍼센트 정도를 최저점으로 판단할 수 있을까요?
언론 보도를 보면, 응답률이 최소 20% 이상은 되어야 한다, 30% 이상은 되어야 한다는 식의 이야기를 합니다. 그러나 적어도 제가 찾아본 연구 결과에서 이러한 숫자를 구체적으로 제시한 연구논문은 없습니다. 다만, 사회조사방법론에서 이론적으로 말하는 것에 따르면, 표본선정의 대표성만 확보된다면 응답률은 큰 문제가 되지 않는다고 말할 수 있습니다. 물론 여기에는 몇가지 전제조건이 있습니다. 무작위(randomness) 원칙을 지키고, 비접촉자의 경우 반복 접촉(call back)을 통해 응답자가 될 수 있게끔 시도해야 하며, 가중치의 과다한 사용을 지양해야 하는 등 대표성에 바이어스가 있지 않도록 해야 합니다.
참고로, 미국 Pew Research Center의 연구 결과(Kohut, Keeter, Doherty, Dimock, & Christian, 2012)에 따르면, 2010년 이후 전화서베이의 경우 기껏해야 10% 정도의 응답률을 보이고 있다고 보고합니다. 그리고, 현재 미국식 응답률 계산에 따른 10퍼센트 응답률은 큰 문제가 아닌 것으로 보입니다. 같은 보고서에 따르면 집전화와 휴대전화의 비율을 통해 인구통계학적으로 적절하게 가중치를 준 경우 실제 결과와 큰 차이를 보이지 않는다고 주장합니다. 즉, 적어도 10퍼센트 정도의 미국식 응답률은 체계적인 오류를 발생시키고 있지 않다고 말할 수 있는 것이죠.
4. 그래서 무엇이 중헌디?
결론은 간단합니다.
응답률을 제공해야 합니다. 협조율은 보조 자료일 뿐입니다.
현재의 문제점을 극복할 수 방법도 간단합니다.
중앙선거여론조사심의위원회에서 지금과 같은 응답률, 즉 협조율은 보조 자료일 뿐이고 응답률을 반드시 제공해야 한다는 조치만 취하면 됩니다. 또한 응답률을 구하는 방법도 제각각이므로 AAPOR이 1~6번으로 사례를 제공해서 ‘응답률 몇번’이라고 명기하게 한것처럼, 우리도 그처럼 명시하도록 강제하면 문제는 간단히 끝납니다.
이렇게 하기만 하면, 수준 낮은 조사회사들은 자연적으로 도태될 것이고, 엉터리 여론 조사 역시 그 수가 현저히 감소할 것입니다. 지금도 응답률(사실은 협조율)이 낮아서 여론 조사의 문제를 지적하는데, 진정한 응답률이 공표되면 형편없는 여론 조사의 인용은 줄어들게 될 것입니다.
그렇다면, 응답률이 낮은 문제는 어떻게 해결하는가?
원칙대로 체계적으로 조사하면 되고, 응답률이 10% 정도만 되어도 여론조사 품질과 큰 개연성이 없다는 해외 조사 사례를 통해 타당성 여부를 계속 검증하면 됩니다. 20% 또는 30%에 너무 얽매일 필요가 없습니다.
마지막으로 두개만 더...
하나. 집전화 방식을 사용한 여론조사는 주부나 노인의 사람들이 주로 조사되고, 청년층, 남성들의 경우에는 조사가 제대로 이루어지지 않는다는 주장에 대해…
틀린 말은 아닙니다. 그렇다고 해서 100% 전수 휴대전화 조사가 가장 좋다라는 주장도 타당하지 않습니다. 이럴 경우 정반대로 청년층과 남성이 과대 조사될 수 있기 때문입니다. 비용도 절약하면서 최적 결과를 내기 위한 방안은 집전화와 휴대전화를 통해 인구통계학적인 비율을 맞추는 것입니다.
둘. 선거여론 조사가 필요한가라고 묻는다면, 당연히 그렇다라고 답할 것입니다.
그리고 현재와 같은 여론조사는 타당한가라고 묻는다면, 당연히 아니라고 답할 것입니다.
투표거부층을 제외한 모집단 설계, ARS 조사 금지, 반복 접촉 시행, 빅데이터 분석 등 조사방법론 원칙에 입각한 조사와 다양한 방법론을 통한 조사가 진행된다면, 신뢰받는 여론조사는 얼마든지 가능합니다.
참고문헌:
AAPOR. (2011). Standard definitions: Final dispositions of case codes and outcome rates for surveys. http://www.aapor.org/AAPOR_Main/media/publications/Standard-Definitions20169theditionfinal.pdf
Kohut, A., Keeter, S., Doherty, C., Dimock, M., & Christian, L. (2012). Assessing the representativeness of public opinion surveys. Pew Research Center, Washington, DC.