Python 작업 스케줄링 | 자동화 작업 예약 완벽 정리
이 글의 핵심
Python에서 주기 작업을 예약하려면 schedule, APScheduler, 시스템 cron 등을 활용할 수 있습니다. 이 글에서는 설치와 기본 문법, 매일·매주 실행, 백업·크롤링 예제와 운영 시 주의사항까지 다룹니다.
들어가며
배치 스크립트나 서버 안에서 주기적으로 작업을 돌리려면, 단순 while 루프보다 스케줄 라이브러리나 OS 스케줄러와 맞추는 편이 안전합니다. 이 글을 끝까지 읽으면 Python에서 반복 실행을 설계할 때 선택지를 비교하고, 예제를 자신의 프로젝트에 옮길 수 있습니다.
”작업을 자동으로 실행하기”
작업 스케줄링은 정해진 시간에 자동으로 작업을 실행하는 기술입니다.
실무 활용 사례: 데이터 분석, 웹 개발, 자동화 프로젝트에서 실제로 사용한 패턴과 코드를 바탕으로 정리했습니다. 초보자가 흔히 겪는 오류와 해결법을 포함합니다.
실무에서 느낀 Python의 매력
처음 Python을 배울 때는 “이게 정말 프로그래밍 언어인가?” 싶을 정도로 간결했습니다. C++에서 10줄로 작성하던 코드가 Python에서는 2~3줄로 끝나는 경우가 많았죠. 특히 데이터 분석 프로젝트를 진행하면서 Pandas와 NumPy의 강력함을 체감했습니다. 엑셀로 몇 시간 걸리던 작업이 Python 스크립트로는 몇 초 만에 끝나는 걸 보고 동료들이 놀라워했던 기억이 납니다. 하지만 처음부터 순탄하지만은 않았습니다. 들여쓰기 하나 잘못해서 몇 시간을 헤맨 적도 있고, 가상환경 설정이 꼬여서 프로젝트 전체를 다시 시작한 적도 있습니다. 이런 시행착오를 겪으며 깨달은 건, 환경 설정을 처음부터 제대로 하는 것이 얼마나 중요한지였습니다. 이 글에서는 제가 겪은 실수들을 바탕으로, 여러분이 같은 시행착오를 겪지 않도록 실전 팁을 담았습니다.
1. schedule 라이브러리
설치
pip install schedule
기본 사용
import schedule
import time
def job():
print("작업 실행!")
# 10초마다
schedule.every(10).seconds.do(job)
# 1분마다
schedule.every(1).minutes.do(job)
# 매일 오전 9시
schedule.every().day.at("09:00").do(job)
# 매주 월요일 오전 10시
schedule.every().monday.at("10:00").do(job)
# 실행
while True:
schedule.run_pending()
time.sleep(1)
2. 실전 예제
자동 백업 스크립트
import schedule
import time
from datetime import datetime
import shutil
from pathlib import Path
def backup_files():
"""파일 백업"""
timestamp = datetime.now().strftime('%Y%m%d_%H%M%S')
backup_name = f"backup_{timestamp}"
source = Path('./data')
backup_dir = Path('./backups')
backup_dir.mkdir(exist_ok=True)
backup_path = backup_dir / backup_name
shutil.copytree(source, backup_path)
print(f"[{datetime.now()}] 백업 완료: {backup_name}")
# 매일 자정에 백업
schedule.every().day.at("00:00").do(backup_files)
# 매주 일요일 오후 11시에 백업
schedule.every().sunday.at("23:00").do(backup_files)
print("백업 스케줄러 시작...")
while True:
schedule.run_pending()
time.sleep(60)
3. APScheduler
설치
pip install apscheduler
고급 스케줄링
from apscheduler.schedulers.blocking import BlockingScheduler
from datetime import datetime
scheduler = BlockingScheduler()
def job1():
print(f"[{datetime.now()}] Job 1 실행")
def job2():
print(f"[{datetime.now()}] Job 2 실행")
# Cron 스타일
scheduler.add_job(job1, 'cron', hour=9, minute=0) # 매일 9시
# 간격
scheduler.add_job(job2, 'interval', minutes=30) # 30분마다
# 특정 시간
scheduler.add_job(
job1,
'cron',
day_of_week='mon-fri',
hour=9,
minute=0
)
scheduler.start()
4. 웹 스크래핑 자동화
주기적 데이터 수집
import schedule
import requests
from bs4 import BeautifulSoup
import pandas as pd
from datetime import datetime
def scrape_prices():
"""상품 가격 수집"""
urls = [
'https://shop1.com/product/123',
'https://shop2.com/product/456'
]
prices = []
for url in urls:
try:
response = requests.get(url, timeout=10)
soup = BeautifulSoup(response.text, 'html.parser')
price = soup.select_one('.price').text
price = int(price.replace(',', ').replace('원', '))
prices.append({
'url': url,
'price': price,
'timestamp': datetime.now()
})
except Exception as e:
print(f"에러: {url} - {e}")
# CSV에 추가
df = pd.DataFrame(prices)
df.to_csv('price_history.csv', mode='a', header=False, index=False)
print(f"[{datetime.now()}] 가격 수집 완료")
# 1시간마다 실행
schedule.every(1).hours.do(scrape_prices)
while True:
schedule.run_pending()
time.sleep(60)
5. 이메일 알림
자동 리포트 발송
import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
import schedule
def send_daily_report():
"""일일 리포트 이메일 발송"""
# 리포트 생성
report = generate_report()
# 이메일 설정
msg = MIMEMultipart()
msg['From'] = '[email protected]'
msg['To'] = '[email protected]'
msg['Subject'] = f"일일 리포트 - {datetime.now().strftime('%Y-%m-%d')}"
msg.attach(MIMEText(report, 'html'))
# 발송
try:
server = smtplib.SMTP('smtp.gmail.com', 587)
server.starttls()
server.login('[email protected]', 'password')
server.send_message(msg)
server.quit()
print("리포트 발송 완료")
except Exception as e:
print(f"발송 실패: {e}")
def generate_report():
"""리포트 HTML 생성"""
return """
<html>
<body>
<h1>일일 리포트</h1>
<p>총 매출: 1,000,000원</p>
<p>신규 고객: 50명</p>
</body>
</html>
"""
# 매일 오전 8시에 발송
schedule.every().day.at("08:00").do(send_daily_report)
6. 백그라운드 실행
Windows 작업 스케줄러
# Python 스크립트를 Windows 작업 스케줄러에 등록
# 1. 작업 스케줄러 열기
# 2. 기본 작업 만들기
# 3. 프로그램: python.exe
# 4. 인수: C:\path\to\script.py
Linux cron
# crontab 편집
crontab -e
# 매일 오전 9시
0 9 * * * /usr/bin/python3 /path/to/script.py
# 매시간
0 * * * * /usr/bin/python3 /path/to/script.py
# 매주 월요일 오전 10시
0 10 * * 1 /usr/bin/python3 /path/to/script.py
로깅·예외·타임아웃으로 스케줄 작업 운영하기
while True 안에서 run_pending을 도는 방식은 알람을 맞춰 두고 정해진 함수만 반복 호출하는 시계와 비슷합니다. 장시간 돌리려면 로그 파일으로 실행 여부를 남기고, 작업 안에서 예외를 삼켜 버리지 말고 기록하며, 오래 걸리는 작업에는 타임아웃(환경에 따라 signal 등)을 검토합니다.
# ✅ 로깅 추가
import logging
logging.basicConfig(
filename='scheduler.log',
level=logging.INFO,
format='%(asctime)s - %(message)s'
)
def job():
logging.info("작업 시작")
# 작업 수행
logging.info("작업 완료")
# ✅ 에러 처리
def safe_job():
try:
job()
except Exception as e:
logging.error(f"에러: {e}")
# ✅ 타임아웃 설정
import signal
def timeout_handler(signum, frame):
raise TimeoutError("작업 시간 초과")
signal.signal(signal.SIGALRM, timeout_handler)
signal.alarm(300) # 5분 제한
내부 동작과 핵심 메커니즘
이 글의 주제는 「Python 작업 스케줄링 | 자동화 작업 예약 완벽 정리」입니다. 여기서는 앞선 설명을 구현·런타임 관점에서 한 번 더 압축합니다. 데이터 흐름과 실패 모드를 기준으로 생각하면, “입력이 어디서 검증되고, 핵심 연산이 어디서 일어나며, 부작용(I/O·네트워크·디스크)이 어디서 터지는가”가 한눈에 드러납니다.
처리 파이프라인(개념도)
flowchart TD A[입력·요청·이벤트] --> B[파싱·검증·디코딩] B --> C[핵심 연산·상태 전이] C --> D[부작용: I/O·네트워크·동시성] D --> E[결과·관측·저장]
알고리즘·프로토콜 관점에서의 체크포인트
- 불변 조건(Invariant): 각 단계가 만족해야 하는 조건(예: 버퍼 경계, 프로토콜 상태, 트랜잭션 격리)을 문장으로 적어 두면 디버깅 비용이 줄어듭니다.
- 결정성: 동일 입력에 동일 출력이 보장되는 순수한 층과, 시간·네트워크에 의해 달라질 수 있는 층을 분리해야 테스트와 장애 분석이 쉬워집니다.
- 경계 비용: 직렬화/역직렬화, 문자 인코딩, syscall 횟수, 락 경합처럼 “한 번의 호출이 아니라 누적되는 비용”을 의심 목록에 넣습니다.
프로덕션 운영 패턴
실서비스에서는 기능 구현과 함께 관측·배포·보안·비용이 동시에 요구됩니다. 아래는 팀에서 자주 쓰는 최소 체크리스트입니다.
| 영역 | 운영 관점에서의 질문 |
|---|---|
| 관측성 | 요청 단위 상관 ID, 에러율/지연 분위수, 주요 의존성 타임아웃이 보이는가 |
| 안전성 | 입력 검증·권한·비밀 관리가 코드 경로마다 일관적인가 |
| 신뢰성 | 재시도는 멱등한 연산에만 적용되는가, 서킷 브레이커·백오프가 있는가 |
| 성능 | 캐시 계층·배치 크기·풀링·백프레셔가 데이터 규모에 맞는가 |
| 배포 | 롤백 룬북, 카나리, 마이그레이션 호환성이 문서화되어 있는가 |
운영 환경에서는 “개발자 PC에서는 재현되지 않던 문제”가 시간·부하·데이터 크기 때문에 드러납니다. 따라서 스테이징의 데이터 양·네트워크 지연을 가능한 한 현실에 가깝게 맞추는 것이 중요합니다.
문제 해결(Troubleshooting)
| 증상 | 가능 원인 | 조치 |
|---|---|---|
| 간헐적 실패 | 레이스 컨디션, 타임아웃, 외부 의존성 불안정 | 최소 재현 스크립트 작성, 분산 트레이스·로그 상관관계 확인 |
| 성능 저하 | N+1 쿼리, 동기 I/O, 잠금 경합, 과도한 직렬화 | 프로파일러·APM으로 핫스팟 확인 후 한 가지씩 제거 |
| 메모리 증가 | 캐시 무제한, 클로저/이벤트 구독 누수, 대용량 객체의 불필요한 복사 | 상한·TTL·스냅샷 비교(힙 덤프/트레이스) |
| 빌드·배포만 실패 | 환경 변수·권한·플랫폼 차이 | CI 로그와 로컬 diff, 컨테이너/런타임 버전 핀(pin) |
권장 디버깅 순서: (1) 최소 재현 만들기 (2) 최근 변경 범위 좁히기 (3) 의존성·환경 변수 차이 확인 (4) 관측 데이터로 가설 검증 (5) 수정 후 회귀·부하 테스트.
정리
핵심 요약
- schedule: 간단한 스케줄링
- APScheduler: 고급 스케줄링
- cron: Linux/Mac 시스템 스케줄러
- 자동화: 백업, 스크래핑, 리포트
- 모니터링: 로깅, 에러 처리
추천 활용
- 자동 백업
- 가격 모니터링
- 데이터 수집
- 리포트 생성
- 알림 발송
관련 글
자주 묻는 질문 (FAQ)
Q. 이 내용을 실무에서 언제 쓰나요?
A. Python에서 주기 작업을 예약하려면 schedule, APScheduler, 시스템 cron 등을 활용할 수 있습니다. 이 글에서는 설치와 기본 문법, 매일·매주 실행, 백업·크롤링 예제와 운영 시 주의사항까지 … 실무에서는 위 본문의 예제와 선택 가이드를 참고해 적용하면 됩니다.
Q. 선행으로 읽으면 좋은 글은?
A. 각 글 하단의 이전 글 또는 관련 글 링크를 따라가면 순서대로 배울 수 있습니다. Python 시리즈 목차에서 전체 흐름을 확인할 수 있습니다.
Q. 더 깊이 공부하려면?
A. cppreference와 해당 라이브러리 공식 문서를 참고하세요. 글 말미의 참고 자료 링크도 활용하면 좋습니다.
같이 보면 좋은 글 (내부 링크)
이 주제와 연결되는 다른 글입니다.
- Python 데코레이터 | @decorator 완벽 정리
- Python 예외 처리 | try-except, raise, 커스텀 예외 완벽 정리
- Python 데이터 전처리 | 결측치, 이상치, 정규화 완벽 정리
이 글에서 다루는 키워드 (관련 검색어)
Python, 스케줄링, 자동화, schedule, cron, APScheduler, 작업예약 등으로 검색하시면 이 글이 도움이 됩니다.