상관계수가 같아도 데이터는 다르다 — 앤스콤 4중주와 심슨의 역설
"r = 0.816, 강한 양의 상관." 네 개의 데이터가 똑같은 성적표를 받았습니다. 그림을 그려보기 전까지는, 넷이 완전히 다른 세상이라는 것을 아무도 모릅니다.
소수 둘째 자리까지 같은 네 개의 데이터
1973년 통계학자 프랜시스 앤스콤이 네 개의 데이터를 만들어 세상에 내놓았습니다. 앤스콤 4중주(Anscombe's Quartet)라 불리는 이 네 데이터는 요약 통계가 전부 같습니다 — x 평균 9.0, y 평균 7.50, 상관계수 r ≈ 0.816(넷 중 IV만 0.817), 회귀직선까지 y = 3.00 + 0.500x로 동일합니다. 숫자만 보면 구별이 불가능합니다.
그런데 그림을 그리는 순간, 네 개의 완전히 다른 세상이 나타납니다.
- I — 예쁜 선형 관계. 상관계수가 정직하게 요약하고 있는 유일한 경우입니다.
- II — 완벽한 곡선(포물선). 직선이 아니므로 r은 이 관계를 전혀 담지 못합니다.
- III — 완벽한 직선 + 이상치 하나. 그 한 점이 회귀선을 통째로 비틀어 놓았습니다.
- IV — x가 모두 8인데 점 하나만 19. 그 한 점이 상관계수를 혼자 만들어냅니다. 나머지 점들 사이엔 아무 관계도 없습니다.
네 경우 모두 "r = 0.816, 강한 양의 상관"이라고 보고됩니다. 하지만 II를 직선으로 예측하면 체계적으로 틀리고, III·IV는 점 하나가 결과를 좌우합니다. 요약 통계는 정보를 압축하고, 압축은 곧 손실입니다. 그리고 잃어버린 정보가 때로는 전부입니다.
이 함정은 교과서 속 이야기가 아닙니다. 이커머스 판매 데이터에서 할인율과 이익률의 상관을 재면 r = -0.253, "약한 음의 관계"로 보입니다. 그런데 할인율을 구간으로 나눠 평균 이익률을 그려보면 명백한 역U자가 나타납니다 — 할인율 0~10% 구간의 이익률은 6.38%, 20~30% 구간에서 15.75%로 정점을 찍고, 50~60% 구간에서는 2.86%까지 떨어집니다. 관계가 약한 게 아니라 직선이 아닐 뿐입니다. 왼쪽의 상승과 오른쪽의 하락이 서로 상쇄되어 피어슨 r에는 작은 값만 남은 것이죠. 이 -0.25만 보고 "할인을 줄이자"고 결정하면, 최적 구간(20~30%)에서 멀어지며 이익률이 폭락합니다.
이상치 4개가 만든 '통계적으로 유의한' 상관
이번엔 반대 방향의 함정입니다. 상품 600개 데이터에서 무게와 평점의 상관을 재니 피어슨 r = +0.126, p = 0.002가 나옵니다. 통계적으로 유의합니다! "무거운 상품일수록 평점이 높다"는 발견일까요?
같은 데이터로 스피어만 순위상관을 재면 ρ = +0.026 (p = 0.52) — 유의하지 않습니다. 두 값이 크게 갈립니다. 산점도를 그려보면 이유가 드러납니다. 대부분의 점은 무게 0~20kg에 모여 아무 패턴 없는 구름을 이루는데, 오른쪽 멀리 초대형 가전 4개(무게 60~95kg, 평점 4.8~5.0)가 외따로 떨어져 있습니다. 이 4개를 빼고 다시 계산하면 r = -0.001 (p = 0.981) — 600개 중 단 4개를 뺐더니 상관이 통째로 증발하고, p값은 0.002에서 0.981로 뒤집힙니다.
피어슨은 값 자체를 쓰기 때문에 이상치에 매우 취약합니다. 무게 95kg짜리 상품의 큰 편차가 공분산에 엄청난 기여를 하면서, 점 하나가 599개의 목소리를 압도합니다. 반면 스피어만은 값을 순위로 바꿔 계산하므로, 95kg이든 950kg이든 똑같이 "1등"일 뿐입니다. 이상치가 아무리 극단적이어도 순위 한 칸의 무게밖에 갖지 못합니다. 그래서 스피어만은 처음부터 ρ = 0.026, 사실상 0이라고 정직하게 말하고 있었던 것입니다.
이 사례가 보여주는 것이 하나 더 있습니다 — p < 0.05가 "진짜"를 보장하지 않는다는 것. 이상치 4개도 얼마든지 "유의한" 결과를 만들어냅니다.
리뷰를 두 배로 늘리면 판매도 늘까 — 허위상관
회의 시간, 히트맵을 본 마케팅팀장이 눈을 반짝입니다. "리뷰수와 월판매량의 상관이 +0.803이네요! 리뷰 작성 이벤트로 리뷰 수를 두 배로 늘리면 판매량도 오르겠군요." 논리적으로 들립니다. 그런데 이 데이터에는 광고노출이라는 변수가 하나 더 있고, 광고노출-리뷰수 상관이 +0.951, 광고노출-월판매량 상관이 +0.850입니다. 하나의 변수가 두 축 모두와 강하게 붙어 있습니다 — 숨은 공통 원인의 전형적인 신호입니다.
광고노출의 영향을 걷어내고 다시 재는 도구가 부분상관(partial correlation)입니다. 리뷰수와 판매량을 각각 광고노출로 회귀시켜 잔차를 구하고, 그 잔차끼리 상관을 냅니다. 결과는 r = -0.035 (p = 0.398). 단순 상관 +0.803이 완전히 증발했습니다. 리뷰수와 판매량 사이에는 직접적인 관계가 처음부터 없었습니다. 광고를 많이 한 상품이 사람들 눈에 많이 띄어 리뷰도 많이 달리고 동시에 많이 팔렸을 뿐, 리뷰와 판매는 같은 원인의 두 결과입니다.
이것이 허위상관(spurious correlation)입니다. 아이스크림 판매와 익사 사고의 상관이 높은 것과 같은 구조죠 — 여름이라는 공통 원인이 둘 다를 끌어올린 것이지, 아이스크림 판매를 금지한다고 익사 사고가 줄지 않습니다. 마찬가지로 리뷰 이벤트를 강행하면 리뷰 수만 두 배가 됩니다. 판매량은 거의 그대로일 것입니다. 예산을 쓰고 지표만 예뻐지는 결과입니다. 상관관계가 알려주는 것은 '무엇을 볼 것인가'이지 '무엇을 누를 것인가'가 아닙니다 — 누를 버튼을 찾으려면 A/B 테스트 같은 실험이 필요합니다.
부호가 뒤집히다 — 심슨의 역설
마지막 함정은 가장 극적입니다. 같은 판매 데이터에서 가격과 월판매량의 상관은 +0.765입니다. 비쌀수록 잘 팔린다는 뜻이니, 수요 법칙과 정면으로 충돌합니다. 기획팀장이 말합니다. "그럼 가격을 올립시다. 데이터가 그렇다잖아요."
그런데 카테고리별로 나눠 다시 계산하면 이렇게 됩니다.
- 식품 내부: r = -0.772 (가격 평균 2.5만원, 판매량 평균 72개)
- 의류 내부: r = -0.665 (가격 평균 8.3만원, 판매량 평균 136개)
- 가전 내부: r = -0.630 (가격 평균 45.8만원, 판매량 평균 256개)
세 카테고리 모두 음의 상관입니다. 전체(+0.765)와 부호가 정반대죠. 이것이 심슨의 역설(Simpson's Paradox) — 전체에서 나타나는 추세가, 그룹으로 나누면 모든 그룹에서 정반대로 뒤집히는 현상입니다. 계산 실수가 아닙니다. 두 계산 모두 수학적으로 옳고, 서로 다른 질문에 답하고 있을 뿐입니다.
원인은 카테고리가 가격과 판매량 둘 다를 동시에 밀어 올린다는 것입니다. 가전은 원래 비싸고 광고를 많이 해서 많이 팔리고, 식품은 원래 싸고 판매량도 낮습니다. 카테고리를 무시하고 전부 뭉치면 "비싼 상품(가전)이 잘 팔린다"는 착시가 생기지만, 같은 가전끼리 비교하면 비쌀수록 덜 팔립니다. 수요 법칙은 멀쩡히 작동하고 있었습니다. 유명한 실제 사례로 1973년 UC 버클리 대학원 입학 통계가 있습니다 — 전체 합격률은 남성 44%, 여성 35%로 차별 논란이 일었지만, 학과별로 나눠 보니 주요 학과 다수에서 여성 합격률이 오히려 높았습니다. 여성이 경쟁이 치열한 학과에 많이 지원했던 것이 전체 통계를 뒤집어 놓은 것이죠.
어느 쪽이 맞는 답일까요? 질문에 따라 다릅니다. "우리 가전 제품 가격을 올리면 판매량이 어떻게 될까?"라는 의사결정 질문에는 그룹별 상관(음수)이 답합니다 — 가격을 바꿔도 카테고리는 함께 바뀌지 않으니까요. 의사결정을 위한 분석이라면 거의 언제나 그룹별로 봐야 합니다. 데이터에 그룹 변수(카테고리·지역·연도·성별)가 있다면 반드시 그룹별로 쪼개서 상관을 다시 계산해 보세요. 30초면 되고, 부호가 바뀐다면 방금 큰 사고를 하나 막은 것입니다.
정리하면, 상관계수를 보고서에 올리기 전에 물어야 할 것은 다섯 가지입니다. 산점도를 그렸는가(앤스콤 4중주), 비선형은 아닌가(r ≈ 0의 함정), 이상치가 만든 상관은 아닌가 (피어슨 vs 스피어만), 숨은 공통 원인은 없는가(부분상관), 그룹으로 나누면 뒤집히지 않는가 (심슨의 역설). 다 통과한 상관계수만이 보고서에 오를 자격이 있습니다 — 그리고 그것조차 인과관계는 아닙니다.
이 글은 DataForge 교육 과정 원고에서 발췌·각색했습니다. 아래 시뮬레이터에서 상관계수와 산점도를 직접 그려보면, 같은 r 값 뒤에 얼마나 다른 데이터가 숨을 수 있는지 눈으로 확인할 수 있습니다.
📊 통계 분석 시뮬레이터 열기 →