AI가 짠 함수는 예제 테스트를 통과해도 틀릴 수 있다: Hypothesis 속성 테스트로 잡기
이 글의 핵심
AI가 쓴 코드는 예제 입력에는 맞는 경우가 많아서, 예제 테스트만으로는 틀린 부분이 드러나지 않습니다. 시간 문자열 파서를 예로 예제 테스트는 모두 통과했지만, Hypothesis가 몇 초 만에 "형식이 아닌 문자열이 0으로 처리된다"와 "0초가 빈 문자열이 된다"를 찾아냈습니다. 고친 뒤에도 속성 테스트가 보지 못한 구멍이 남은 것까지 정리했습니다.
AI 코딩 도구가 만든 함수에 “예제를 몇 개 넣어서 확인해 줘”라고 시키면 대개 통과한다. 예제는 함수를 만든 쪽이 떠올린 입력이라, 함수가 가정한 범위 안에 있기 때문이다. 틀린 부분은 그 범위 밖, 즉 아무도 예제로 쓰지 않은 입력에 있다. 이 글은 시간 문자열을 초로 바꾸는 작은 함수를 예로, 예제 테스트가 모두 통과한 코드를 Hypothesis 속성 테스트가 어떻게 무너뜨리는지 실행하며 보여 준다.
환경은 macOS의 Python 3.9.6, pytest 8.4.2, Hypothesis 6.141.1이다. 아래 코드는 AI 도구가 흔히 내놓는 방식으로 내가 직접 쓴 것이고, 특정 모델이 이렇게 틀렸다는 주장은 아니다.
시험 대상
"1h30m"을 5400초로, 5400초를 "1h30m"으로 바꾸는 두 함수다.
import re
UNITS = {"h": 3600, "m": 60, "s": 1}
def parse_duration(text):
"""'1h30m' -> 5400. 시·분·초 단위 문자열을 초로 바꾼다."""
total = 0
for num, unit in re.findall(r"(\d+)([hms])", text):
total += int(num) * UNITS[unit]
return total
def format_duration(seconds):
"""5400 -> '1h30m'."""
h, rem = divmod(seconds, 3600)
m, s = divmod(rem, 60)
parts = []
if h:
parts.append(f"{h}h")
if m:
parts.append(f"{m}m")
if s:
parts.append(f"{s}s")
return "".join(parts)
예제 테스트는 통과한다
흔히 만드는 예제 테스트다.
from duration import parse_duration, format_duration
def test_parse_examples():
assert parse_duration("1h30m") == 5400
assert parse_duration("45s") == 45
assert parse_duration("2h") == 7200
def test_format_examples():
assert format_duration(5400) == "1h30m"
assert format_duration(45) == "45s"
assert format_duration(3661) == "1h1m1s"
$ pytest -q test_example.py
.. [100%]
2 passed in 0.34s
여기서 멈추면 “AI가 쓴 코드가 테스트까지 통과했다”가 된다.
속성 테스트로 보면
Hypothesis는 입력을 자동으로 만들어 속성이 깨지는 최소 입력을 찾아 준다. 이 함수에 세울 속성은 세 가지다.
- 0 이상의 정수 n에 대해
parse(format(n)) == n(왕복) - 시·분·초 형식이 아닌 문자열은 0을 돌려주는 대신
ValueError를 낸다 - 0초도 읽을 수 있는 표기를 갖는다
import re
from hypothesis import given, strategies as st
from duration import parse_duration, format_duration
@given(st.integers(min_value=0, max_value=10**7))
def test_roundtrip(n):
assert parse_duration(format_duration(n)) == n
@given(st.text())
def test_garbage_is_rejected(s):
try:
parse_duration(s)
except ValueError:
return
assert re.fullmatch(r"(\d+[hms])*", s) is not None, f"형식이 아닌데 통과: {s!r}"
def test_zero_has_readable_form():
assert format_duration(0) == "0s"
실행 결과는 이렇다.
$ pytest -q test_property.py
E AssertionError: 형식이 아닌데 통과: '0'
E Falsifying example: test_garbage_is_rejected(
E s='0',
E )
E AssertionError: assert '' == '0s'
FAILED test_property.py::test_garbage_is_rejected
FAILED test_property.py::test_zero_has_readable_form
2 failed, 1 passed in 1.10s
- 왕복 속성은 통과했다. 두 함수가 서로 짝이 맞는다는 뜻이지, 각자 옳다는 뜻은 아니다.
'0'처럼 단위가 없는 문자열이 오류 없이 0초로 처리된다.re.findall은 맞는 부분만 골라 내고 나머지를 버리기 때문에, 잘못된 입력이 조용히 0이 된다. 이 값이 타임아웃 설정에 들어가면 “즉시 시간 초과”나 “무제한”이 될 수 있다.format_duration(0)이 빈 문자열을 돌려준다. 화면에 빈 칸이 나오고, 이 문자열을 다시 파서에 넣으면 오류 없이 0이 된다.
Hypothesis는 실패한 입력을 가장 단순한 것('0')으로 줄여서 보여 준다. 사람이 이 입력을 떠올리기는 어렵다.
고치기
파서는 전체 문자열이 형식에 맞는지 먼저 검사하고, 포맷터는 0과 음수를 처리한다.
def parse_duration(text):
if not re.fullmatch(r"(\d+[hms])+", text):
raise ValueError(f"시간 형식이 아닙니다: {text!r}")
total = 0
for num, unit in re.findall(r"(\d+)([hms])", text):
total += int(num) * UNITS[unit]
return total
def format_duration(seconds):
if seconds < 0:
raise ValueError("음수는 지원하지 않습니다")
if seconds == 0:
return "0s"
...
속성 테스트의 정규식은 빈 문자열을 오류로 보도록 *를 +로 바꿨다. 고친 뒤 다시 돌렸다.
$ pytest -q test_example.py test_property.py
..... [100%]
5 passed in 0.15s
입력 수를 늘려도 보았다. conftest.py에 max_examples=20000, deadline=None 프로필을 넣고 속성 테스트 3개만 돌렸다.
$ pytest -q test_property.py
... [100%]
3 passed in 10.69s
그래도 남은 구멍
테스트가 모두 통과해도 코드가 맞다는 뜻은 아니다. 고친 파서를 직접 불러 보니 아래 입력도 받아들인다.
>>> parse_duration("٣s") # 아라비아-인도 숫자 3
3
>>> parse_duration("1h1h") # 같은 단위가 반복
7200
\d는 파이썬 정규식에서 ASCII 숫자만이 아니라 유니코드 숫자도 받는다. 의도한 동작인지는 명세로 정할 일이다.- 같은 단위가 두 번 나오면 합산한다. 오류로 볼지 허용할지도 명세의 문제다.
속성 테스트가 이 둘을 못 잡은 이유는 테스트의 정규식이 구현과 같은 \d를 쓰기 때문이다. 속성은 내가 적은 만큼만 검증한다. 구현과 같은 규칙을 테스트에 복사하면 같은 구멍을 같이 갖게 된다.
AI 코딩에서 쓰는 순서
- 함수를 받으면 예제 테스트로 기대 결과를 못 박는다.
- “이 함수가 모든 입력에서 지켜야 할 성질”을 한두 문장으로 쓰고 속성 테스트로 옮긴다. 왕복, 정렬 후 길이 불변, 잘못된 입력은 오류 같은 것이 후보다.
- 실패하면 줄어든 입력(falsifying example)을 AI에게 그대로 주고 고치게 한다.
- 고친 뒤
max_examples를 한 번 크게 올려 돌린다. - 테스트가 구현의 규칙을 그대로 베끼지 않았는지 본다.
한계
- 이 실험은 함수 하나, 환경 하나다. AI가 만든 코드 일반이 예제만 통과하고 속성에서 깨진다고 주장하지 않는다.
- 속성을 떠올리는 일은 사람이 해야 한다. 좋은 속성이 없는 함수(외부 API 호출 등)에는 맞지 않는다.
- Hypothesis는 무작위 입력이라 실행마다 찾는 반례가 다를 수 있다. 여기서는 실패한 반례가
'0'이었다.