데이터 전처리는 왜 중요한가요?

머신러닝 성능의 80%는 데이터 품질에서 결정됩니다. 전처리가 핵심입니다.

결측치는 어떻게 처리하나요?

제거, 평균/중앙값 대체, 예측 모델 사용 등이 있습니다.

정규화 vs 표준화?

정규화는 0-1 범위, 표준화는 평균 0, 표준편차 1로 변환합니다.

Python 데이터 전처리 | 결측치, 이상치, 정규화 완벽 정리

2026년 3월 28일 · 24분 읽기 · 수정 2026년 4월 18일 중급 튜토리얼

이 글의 핵심

import pandas as pd import numpy as np.

들어가며

”좋은 데이터가 좋은 모델을 만든다”

데이터 전처리는 머신러닝의 80%를 차지하는 중요한 과정입니다.

실무 활용 사례: 데이터 분석, 웹 개발, 자동화 프로젝트에서 실제로 사용한 패턴과 코드를 바탕으로 정리했습니다. 초보자가 흔히 겪는 오류와 해결법을 포함합니다.

실무에서 느낀 Python의 매력

처음 Python을 배울 때는 “이게 정말 프로그래밍 언어인가?” 싶을 정도로 간결했습니다. C++에서 10줄로 작성하던 코드가 Python에서는 2~3줄로 끝나는 경우가 많았죠. 특히 데이터 분석 프로젝트를 진행하면서 Pandas와 NumPy의 강력함을 체감했습니다. 엑셀로 몇 시간 걸리던 작업이 Python 스크립트로는 몇 초 만에 끝나는 걸 보고 동료들이 놀라워했던 기억이 납니다. 하지만 처음부터 순탄하지만은 않았습니다. 들여쓰기 하나 잘못해서 몇 시간을 헤맨 적도 있고, 가상환경 설정이 꼬여서 프로젝트 전체를 다시 시작한 적도 있습니다. 이런 시행착오를 겪으며 깨달은 건, 환경 설정을 처음부터 제대로 하는 것이 얼마나 중요한지였습니다. 이 글에서는 제가 겪은 실수들을 바탕으로, 여러분이 같은 시행착오를 겪지 않도록 실전 팁을 담았습니다.

1. 결측치 처리

결측치 확인

표 안에 빈 칸(NaN)이 있으면 장바구니에 가격이 안 적힌 상품처럼 연산이 꼬일 수 있습니다. isnull()로 어디가 비었는지 표를 만들고, 열마다 합을 세어 어느 변수부터 손댈지 정합니다.

# 필요한 모듈 import
import pandas as pd
import numpy as np
df = pd.DataFrame({
    'name': ['철수', '영희', '민수', None],
    'age': [25, None, 28, 30],
    'salary': [3000, 4000, None, 5000]
})
# 결측치 확인
print(df.isnull())
print(df.isnull().sum())  # 열별 결측치 개수

결측치 처리

# 방법 1: 제거
df_dropped = df.dropna()  # 결측치 있는 행 제거
df_dropped = df.dropna(axis=1)  # 결측치 있는 열 제거
# 방법 2: 채우기
df_filled = df.fillna(0)  # 0으로 채우기
df_filled = df.fillna(df.mean())  # 평균으로 채우기
df_filled = df.fillna(method='ffill')  # 앞 값으로 채우기
# 방법 3: 보간
df['age'] = df['age'].interpolate()

2. 이상치 처리

IQR 방법

# IQR (Interquartile Range)
Q1 = df['salary'].quantile(0.25)
Q3 = df['salary'].quantile(0.75)
IQR = Q3 - Q1
# 이상치 범위
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
# 이상치 제거
df_clean = df[
    (df['salary'] >= lower_bound) & 
    (df['salary'] <= upper_bound)
]

Z-Score 방법

from scipy import stats
# Z-Score 계산
z_scores = np.abs(stats.zscore(df['salary'].dropna()))
# |Z| > 3인 것을 이상치로 간주
df_clean = df[(z_scores < 3)]

3. 정규화와 표준화

Min-Max 정규화 (0-1)

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
df['salary_normalized'] = scaler.fit_transform(df[['salary']])
print(df[['salary', 'salary_normalized']])

표준화 (평균 0, 표준편차 1)

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df['salary_standardized'] = scaler.fit_transform(df[['salary']])
print(df[['salary', 'salary_standardized']])

4. 범주형 데이터 인코딩

Label Encoding

from sklearn.preprocessing import LabelEncoder
df = pd.DataFrame({
    'city': ['서울', '부산', '서울', '대구', '부산']
})
encoder = LabelEncoder()
df['city_encoded'] = encoder.fit_transform(df['city'])
print(df)
#   city  city_encoded
# 0  서울             1
# 1  부산             0
# 2  서울             1
# 3  대구             2
# 4  부산             0

One-Hot Encoding

# Pandas 사용
df_encoded = pd.get_dummies(df, columns=['city'])
print(df_encoded)
#    city_대구  city_부산  city_서울
# 0       0       0       1
# 1       0       1       0
# 2       0       0       1
# Scikit-learn 사용
from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder(sparse_output=False)
encoded = encoder.fit_transform(df[['city']])

5. 피처 엔지니어링

새로운 피처 생성

df = pd.DataFrame({
    'date': pd.date_range('2024-01-01', periods=100),
    'sales': np.random.randint(100, 500, 100)
})
# 날짜에서 피처 추출
df['year'] = df['date'].dt.year
df['month'] = df['date'].dt.month
df['day_of_week'] = df['date'].dt.dayofweek
df['is_weekend'] = df['day_of_week'].isin([5, 6]).astype(int)
# 이동 평균
df['sales_ma7'] = df['sales'].rolling(window=7).mean()
# 차분
df['sales_diff'] = df['sales'].diff()

6. 실전 예제

완전한 전처리 파이프라인

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler, LabelEncoder
def preprocess_data(df):
    """데이터 전처리 파이프라인"""
    
    # 1. 결측치 처리
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    df[numeric_cols] = df[numeric_cols].fillna(df[numeric_cols].mean())
    
    categorical_cols = df.select_dtypes(include=['object']).columns
    df[categorical_cols] = df[categorical_cols].fillna('Unknown')
    
    # 2. 이상치 제거 (IQR)
    for col in numeric_cols:
        Q1 = df[col].quantile(0.25)
        Q3 = df[col].quantile(0.75)
        IQR = Q3 - Q1
        lower = Q1 - 1.5 * IQR
        upper = Q3 + 1.5 * IQR
        df = df[(df[col] >= lower) & (df[col] <= upper)]
    
    # 3. 범주형 인코딩
    for col in categorical_cols:
        le = LabelEncoder()
        df[f'{col}_encoded'] = le.fit_transform(df[col])
    
    # 4. 정규화
    scaler = StandardScaler()
    df[numeric_cols] = scaler.fit_transform(df[numeric_cols])
    
    return df
# 사용
raw_data = pd.read_csv('raw_data.csv')
clean_data = preprocess_data(raw_data)
clean_data.to_csv('clean_data.csv', index=False)

전처리 순서를 정리한 체크리스트

머신러닝 전처리는 요리 전에 재료를 손질하는 과정과 비슷합니다. 먼저 info·describe로 표를 읽고, 결측·이상치·범주 인코딩·스케일링을 모델 가정에 맞게 순서대로 적용합니다. 거리 기반 모델은 스케일이 특히 민감하고, 트리 계열은 상대적으로 덜한 편입니다.

# ✅ 1. 데이터 확인
df.info()
df.describe()
df.isnull().sum()
# ✅ 2. 결측치 처리
# - 제거 vs 대체 결정
# - 도메인 지식 활용
# ✅ 3. 이상치 처리
# - 시각화로 확인
# - IQR 또는 Z-Score
# ✅ 4. 인코딩
# - 순서 있음: Label Encoding
# - 순서 없음: One-Hot Encoding
# ✅ 5. 스케일링
# - 거리 기반 모델: 필수
# - 트리 기반 모델: 선택

내부 동작과 핵심 메커니즘

이 글의 주제는 「Python 데이터 전처리 | 결측치, 이상치, 정규화 완벽 정리」입니다. 여기서는 앞선 설명을 구현·런타임 관점에서 한 번 더 압축합니다. 데이터 흐름과 실패 모드를 기준으로 생각하면, “입력이 어디서 검증되고, 핵심 연산이 어디서 일어나며, 부작용(I/O·네트워크·디스크)이 어디서 터지는가”가 한눈에 드러납니다.

처리 파이프라인(개념도)

flowchart TD
  A[입력·요청·이벤트] --> B[파싱·검증·디코딩]
  B --> C[핵심 연산·상태 전이]
  C --> D[부작용: I/O·네트워크·동시성]
  D --> E[결과·관측·저장]

알고리즘·프로토콜 관점에서의 체크포인트

불변 조건(Invariant): 각 단계가 만족해야 하는 조건(예: 버퍼 경계, 프로토콜 상태, 트랜잭션 격리)을 문장으로 적어 두면 디버깅 비용이 줄어듭니다.
결정성: 동일 입력에 동일 출력이 보장되는 순수한 층과, 시간·네트워크에 의해 달라질 수 있는 층을 분리해야 테스트와 장애 분석이 쉬워집니다.
경계 비용: 직렬화/역직렬화, 문자 인코딩, syscall 횟수, 락 경합처럼 “한 번의 호출이 아니라 누적되는 비용”을 의심 목록에 넣습니다.

프로덕션 운영 패턴

실서비스에서는 기능 구현과 함께 관측·배포·보안·비용이 동시에 요구됩니다. 아래는 팀에서 자주 쓰는 최소 체크리스트입니다.

영역	운영 관점에서의 질문
관측성	요청 단위 상관 ID, 에러율/지연 분위수, 주요 의존성 타임아웃이 보이는가
안전성	입력 검증·권한·비밀 관리가 코드 경로마다 일관적인가
신뢰성	재시도는 멱등한 연산에만 적용되는가, 서킷 브레이커·백오프가 있는가
성능	캐시 계층·배치 크기·풀링·백프레셔가 데이터 규모에 맞는가
배포	롤백 룬북, 카나리, 마이그레이션 호환성이 문서화되어 있는가

운영 환경에서는 “개발자 PC에서는 재현되지 않던 문제”가 시간·부하·데이터 크기 때문에 드러납니다. 따라서 스테이징의 데이터 양·네트워크 지연을 가능한 한 현실에 가깝게 맞추는 것이 중요합니다.

문제 해결(Troubleshooting)

증상	가능 원인	조치
간헐적 실패	레이스 컨디션, 타임아웃, 외부 의존성 불안정	최소 재현 스크립트 작성, 분산 트레이스·로그 상관관계 확인
성능 저하	N+1 쿼리, 동기 I/O, 잠금 경합, 과도한 직렬화	프로파일러·APM으로 핫스팟 확인 후 한 가지씩 제거
메모리 증가	캐시 무제한, 클로저/이벤트 구독 누수, 대용량 객체의 불필요한 복사	상한·TTL·스냅샷 비교(힙 덤프/트레이스)
빌드·배포만 실패	환경 변수·권한·플랫폼 차이	CI 로그와 로컬 `diff`, 컨테이너/런타임 버전 핀(pin)

권장 디버깅 순서: (1) 최소 재현 만들기 (2) 최근 변경 범위 좁히기 (3) 의존성·환경 변수 차이 확인 (4) 관측 데이터로 가설 검증 (5) 수정 후 회귀·부하 테스트.

정리

핵심 요약

결측치: 제거, 대체, 보간
이상치: IQR, Z-Score
정규화: Min-Max (0-1)
표준화: 평균 0, 표준편차 1
인코딩: Label, One-Hot

다음 단계

실전 데이터 분석
머신러닝 기초

자주 묻는 질문 (FAQ)

Q. 이 내용을 실무에서 언제 쓰나요?

A. Python 데이터 전처리 import pandas as pd import numpy as np. 실전 예제와 코드로 개념부터 활용까지 정리합니다. Python·데이터전처리·Pandas 중심으로 설명합니다. Star… 실무에서는 위 본문의 예제와 선택 가이드를 참고해 적용하면 됩니다.

Q. 선행으로 읽으면 좋은 글은?

A. 각 글 하단의 이전 글 또는 관련 글 링크를 따라가면 순서대로 배울 수 있습니다. Python 시리즈 목차에서 전체 흐름을 확인할 수 있습니다.

Q. 더 깊이 공부하려면?

A. cppreference와 해당 라이브러리 공식 문서를 참고하세요. 글 말미의 참고 자료 링크도 활용하면 좋습니다.

같이 보면 좋은 글 (내부 링크)

이 주제와 연결되는 다른 글입니다.

이 글에서 다루는 키워드 (관련 검색어)

Python, 데이터전처리, Pandas, 결측치, 이상치, 정규화, 머신러닝 등으로 검색하시면 이 글이 도움이 됩니다.

이 글이 도움이 되셨나요?

여러분의 피드백은 더 나은 콘텐츠를 만드는 데 도움이 됩니다

문제가 있거나 개선 제안이 있으시면 연락처로 알려주세요.