결측치·이상치 시뮬레이터 사용법 — 빠진 값과 튀는 값, 적을 먼저 알기
전처리를 배우기 전에, 결측치와 이상치가 '어떻게 생겼는지'부터 눈으로 익히는 도구입니다.
어떤 상황에서 쓰는 도구인가요
실무에서 받는 데이터는 교과서처럼 깨끗하지 않습니다. 센서가 잠시 꺼져서 값이 비어 있거나(결측치), 입력 실수나 장비 오류로 유난히 튀는 값(이상치)이 섞여 있습니다. 문제는 이런 오염이 눈에 잘 안 띈다는 것입니다 — 수만 행짜리 표를 스크롤해서는 어디가 비었는지 알 수 없습니다.
이 시뮬레이터는 접근을 뒤집습니다. 결측과 이상치를 일부러 만들어서 어떤 모양으로 나타나는지 보여줍니다. 깨끗한 데이터에 결측 비율과 패턴을 직접 조절해 넣어보면, 나중에 진짜 오염된 데이터를 만났을 때 '아, 이건 특정 컬럼에 몰린 결측이구나'를 바로 알아볼 수 있게 됩니다.
이 도구는 무엇을 하나요
결측 비율·패턴·이상치 비율을 조절해 오염된 데이터를 만들고, 통계 타일과 히트맵으로 결측이 어디에, 얼마나, 어떤 모양으로 퍼졌는지 확인합니다. 상단 4개 탭으로 결측치 탐지 → 결측치 보간 → 이상치 탐지 → 박스플롯을 오가며, 한 번 올린 데이터는 네 탭이 함께 사용합니다.
단계별 사용법
- 데이터 소스 고르기 — 샘플 데이터(🏭 제조 센서 · 🌤 기상 관측 · 📦 판매 실적) 중 하나를 누르거나, 📂 CSV / XLSX 업로드로 내 데이터를 올립니다. 한 번 올린 파일은 네 탭이 함께 사용합니다.
- 결측 비율·패턴 설정 — 결측 비율 슬라이더로 몇 %를 비울지 정하고, 패턴을 고릅니다 — 무작위(아무 곳이나) · 연속 구간(한동안 통째로 빔) · 컬럼 집중(특정 열에 몰림). 실무에서 센서 고장은 '연속 구간', 설문 무응답은 '컬럼 집중'으로 나타나는 경우가 많습니다.
- 이상치 비율 설정 — 이상치 비율 슬라이더로 튀는 값을 몇 % 섞을지 정합니다.
- ▶ 분석 실행 — 버튼을 누르면 상단 통계 타일이 채워집니다 — 전체 셀 수 · 결측 셀 수 · 결측 비율 · 완전한 행 비율 · 이상치 셀 수 · 이상치 비율.
- 히트맵으로 패턴 읽기 — 결측 히트맵(초록=정상, 빨강=결측, 주황=이상치)과 컬럼별 결측 비율 · 시간 축 결측 분포 차트로 결측이 몰린 위치를 확인합니다.
- 다른 탭 살펴보기 — 🔧 결측치 보간(빈칸을 채우는 8가지 방법을 RMSE로 비교) · ⚡ 이상치 탐지(튀는 값 찾기) · 📦 박스플롯(분포로 이상치 읽기) 탭도 같은 방식으로 씁니다.
결과를 읽는 법
완전한 행 비율을 눈여겨보세요. 셀 기준 결측이 5%뿐이어도, 결측이 여러 컬럼에 흩어져 있으면 '결측이 하나도 없는 행'은 절반 이하로 떨어질 수 있습니다. 결측 행을 통째로 버리는 전략(listwise deletion)이 왜 위험한지 숫자로 확인되는 지점입니다.
히트맵의 모양도 정보입니다. 빨간 점이 고르게 흩어져 있으면 무작위 결측이라 보간이 잘 통하지만, 세로로 긴 빨간 줄(컬럼 집중)이면 그 컬럼 자체의 수집 과정을 의심해야 하고, 가로로 긴 띠(연속 구간)면 해당 기간의 데이터 소스 장애를 의심해야 합니다.