별점 2.6점짜리 사용자는 없다 — 리뷰 분포 분석 공부 정리

pxd 블로그에서 별점과 리뷰 데이터로 사용자 경험을 분석하는 글을 읽었다. K뷰티 앱 올리브영, 화해, 글로우픽의 앱스토어 리뷰를 분석한 사례였는데, 처음엔 그냥 “리뷰 분석 사례구나” 하고 넘어가려 했다.

근데 “올리브영 앱 평균 별점 2.6점”이라는 숫자를 설명하는 방식이 달랐다. 분포를 보니 1점이 44%, 5점이 24%였다. 2.6점짜리 경험을 한 사람은 사실상 없는 거였다. 두 개의 다른 경험이 상쇄된 결과가 2.6이라는 숫자 하나로 남은 것이었다. 화해도 평균 3.1점인데, 5점(34.5%)과 1점(33.5%)이 팽팽히 맞붙어 있었다.

이 구조를 보고 나서 글을 좀 더 꼼꼼히 읽어봤다.

1️⃣ 어떻게 읽는가

이 글에서 소개한 방법은 세 층위로 나눌 수 있었다.

첫 번째는 별점 분포 보기. 평균 대신 분포를 시각화하면 “1점 무리”와 “5점 무리”가 따로 보인다. 리뷰를 남기는 건 대체로 강하게 느꼈을 때이기 때문에, 분포는 전체 사용자 만족도보다 “강한 경험이 있었던 사람들의 반응 분포”에 가깝다고 설명했다.

두 번째는 어피니티버블로 텍스트 군집화. 리뷰 텍스트를 주제별로 자동 분류하고, 각 군집에 평균 별점을 색으로 입히면 “어느 주제에서 불만이 몰리는지”가 한눈에 보인다. 올리브영 기준으로는 앱 안정성·기술 오류가 전체의 35%를 차지했고, 거기에 1점 리뷰가 집중돼 있었다. 텍스트만 봤을 때는 “이 주제가 많다”인데, 별점을 입히면 “이 주제가 많으면서 불만도 강하다”가 된다.

세 번째는 우선순위 매트릭스. X축 평균 별점(낮을수록 강한 불만), Y축 언급 빈도로 놓으면 좌상단이 최우선 과제 영역이 된다. 배송 품질은 빈도가 7%밖에 안 됐지만 별점이 2.0으로, 자주 언급되진 않아도 나올 때마다 강하게 불만인 숨은 이슈였다.

2️⃣ 내가 든 생각

“많이 나온 문제가 가장 급한 문제는 아니다”라는 문장이 제일 인상에 남았다. 빈도만 보면 “이게 제일 많이 나왔으니 먼저 고치자”가 되는데, 별점을 같이 보면 “이 문제에 사람들이 얼마나 강하게 불만인가”라는 질문이 추가된다. 순위가 달라질 수 있다는 거다.

👉🏻 별점 분포 + 텍스트 군집 + 우선순위 매트릭스를 함께 봐야 진짜 우선순위가 나온다는 게 이 글의 핵심이었던 것 같다.

시계열 분석 부분도 눈에 띄었다. 특정 분기에 특정 클러스터의 별점이 급락했다가 회복되는 패턴을 볼 수 있다는 건, “그때 어떤 이슈가 터졌는지”를 사후에 리뷰 데이터로 추적할 수 있다는 뜻이다. 데이터가 단순한 수치 집계가 아니라 서비스 히스토리로 쓰일 수 있다는 걸 여기서 처음 생각해봤다.

💡 여기서 드는 질문? 빈도가 낮고 별점도 낮은 이슈, 즉 매트릭스 좌하단은 어떻게 판단해야 할까. 배송 품질처럼 7%인데 2.0점이면 매트릭스에 올라오는데, 그보다 훨씬 낮은 빈도라면 임계치가 있는 건지, 아니면 별점 강도만으로 판단하는 건지 잘 모르겠다.

⭐️ 마지막으로, 리서치를 공부하는 입장에서 남은 것

공부 끝에 남은 건 “같은 숫자가 전혀 다른 이야기를 숨길 수 있다”는 한 줄이다. 평균이 양극화를 뭉개는 건 알고 있었는데, 리뷰 데이터에서 이렇게 선명하게 보이는 건 생각 못했다. 분포 하나를 시각화하는 것만으로 분석이 달라지는 걸 보니, 질문 방식 자체가 결과를 얼마나 다르게 만드는지 제법 실감났다.

---

참고 원문: 별점과 리뷰로 사용자 경험 이해하기