같은 병원에서 같은 질문을 받아도, 전화로 답할 때와 휴대전화 화면으로 답할 때 점수가 달라질 수 있을까요? 2026년 Journal of medical Internet research에 발표된 한국의 연구가 이 질문을 무작위 배정 실험으로 확인했습니다. 이 글에서는 연구가 밝힌 핵심 세 가지를 차례로 살펴봅니다.
환자경험평가와 설문 방식이라는 쟁점
환자경험 설문은 병원이 제공하는 의료의 질을 살피는 중요한 도구입니다. 그런데 어떤 방식으로 물어보느냐가 점수에 영향을 주는지는 충분히 연구되지 않았다고 합니다. 이 연구는 우리나라 환자경험평가에서 쓰이는 모바일 웹 설문과 전화 설문의 차이, 이른바 ‘조사 방식 효과’를 직접 비교했습니다.
연구진은 2022년 종합병원 4곳에서 대상자를 모았습니다. 19세 이상 성인으로, 1일을 넘겨 입원했고 설문 시점보다 2일에서 56일 전에 퇴원한 환자들입니다. 모두 3200명이었고, 독립된 조사 회사가 컴퓨터로 만든 난수로 1600명씩 전화군과 모바일 웹군에 나눴습니다. 사람이 고르지 않고 우연에 맡겨 나눴기 때문에 두 집단의 특성이 비슷해지도록 설계한 셈입니다. 평가 점수는 설문 문항 전체를 합산해 만점 기준으로 환산한 값을 대표 결과로 삼았습니다.
핵심 1: 모바일 웹으로 답한 쪽의 점수가 더 낮았습니다
첫 번째 결과는 방향입니다. 이 연구에서는 모바일 웹군의 총 환자경험 점수가 전화군보다 통계적으로 유의하게 낮았습니다. 설문에 실제로 응답을 마친 사람은 배정된 3200명 가운데 일부였고, 응답자 수는 오히려 모바일 웹 쪽이 더 많았습니다. 그런데도 점수는 모바일 쪽이 낮게 나왔습니다.
하위 영역으로 나눠 봐도 대부분 같은 양상이 나타났습니다. 특정 한두 문항이 전체 결과를 끌어내린 것이 아니라, 전반적으로 모바일 응답이 더 박하게 나왔다는 뜻입니다. 연구진은 모바일 설문이 전화 설문보다 상당히 낮은 점수를 낳을 수 있다고 해석했습니다.
핵심 2: 응답하지 않은 사람을 감안해도 결과는 같았습니다
설문 연구의 고질적인 문제는 응답하지 않은 사람입니다. 응답한 사람만 비교하면 방식 차이가 아니라 응답자의 성격 차이를 보게 될 수 있기 때문입니다. 연구진은 이 점을 세 가지 방식으로 점검했습니다.
- 응답자끼리 보정 없이 단순 비교
- 응답하지 않은 사람의 몫을 가중치로 보정하는 방법(역확률 가중)
- 빠진 응답을 통계적으로 채워 넣는 방법(다중 대체)
세 방식 모두에서 모바일 웹군이 낮았고, 95% 신뢰구간도 차이가 없는 지점에 걸치지 않았습니다. 한 걸음 더 나아가 ‘응답하지 않은 사람이 사실은 체계적으로 다르게 답했을 경우’를 가정한 민감도 분석도 했습니다. 여러 결측 시나리오에서도 결과는 흔들리지 않았다고 합니다. 연구진은 이 차이가 분석 방법 때문에 생겼을 가능성은 낮다고 보았습니다.
핵심 3: 성별·연령·진료 분야를 나눠도 비슷했습니다
세 번째는 일관성입니다. 성별, 연령대, 진료 분야별로 나눠 따로 분석했을 때도 조사 방식 효과는 비슷하게 확인되었습니다. 특정 집단, 예를 들어 고령층만 모바일 화면에 서툴러서 점수가 낮아진 것이 아니라는 뜻으로 읽을 수 있습니다. 연구진은 두 방식 사이의 차이를 응답자 특성의 불균형 탓으로 돌리기도 어렵다고 설명했습니다.
읽을 때 유의할 점
이 결과를 해석할 때 알아 둘 점이 있습니다. 첫째, 배정 이후에는 참가자와 조사원, 결과 평가자를 가려 두는 눈가림이 불가능했습니다. 설문 방식 자체가 눈에 보이기 때문입니다. 둘째, 응답하지 않은 사람이 많아서 보정 방법에 기댈 수밖에 없었습니다. 셋째, 대상은 우리나라 종합병원 4곳의 퇴원 환자였으므로 다른 나라나 다른 유형의 의료기관으로 넓혀 해석할 때는 조심할 필요가 있습니다.
또 이 연구는 모바일 설문이 점수를 낮춘 이유가 무엇인지, 즉 화면으로 답할 때 더 솔직해지는 것인지 전화 응대에서 호의적으로 답하는 것인지는 이 요약만으로 알 수 없습니다. 연구진이 밝힌 것은 차이가 있고 일관된다는 점까지입니다.
정리
- 이 연구에서는 같은 조건으로 무작위 배정한 환자들 중 모바일 웹으로 답한 쪽의 환자경험 점수가 전화로 답한 쪽보다 낮았습니다.
- 응답하지 않은 사람을 다르게 가정해 분석해도, 집단을 나눠 분석해도 결과는 같은 방향이었습니다.
- 연구진은 전화 설문으로 얻은 기존 점수와 모바일 설문 점수를 곧바로 비교할 때는 주의가 필요하다고 권고했습니다.
병원 평가 점수를 볼 때는 숫자만이 아니라 어떤 방식으로 조사했는지도 함께 확인하는 것이 좋겠습니다. 다만 이 결과가 곧 의료의 질이 낮다는 뜻은 아닙니다. 같은 병원을 경험한 환자라도 묻는 방식에 따라 점수가 달라질 수 있다는 점을 보여 줄 뿐이며, 평가 결과를 비교하는 쪽에서 조사 방식을 맞춰 살피는 일이 중요하다는 것이 이 연구의 메시지입니다.
이 글은 일반적인 건강 정보이며, 개인의 증상과 치료는 반드시 의료진과 상담하시기 바랍니다.
참고: 2026년 Journal of medical Internet research 발표 연구 참고, PubMed 초록 (링크 없음)
