노이즈에 무너지는 백테스트, 강건성 테스트로 약점 찾기

과거 데이터에 규칙을 하나 얹어 돌려 보면 마음에 들 만큼 잘 맞는 숫자가 나올 때가 있다. 그 숫자가 시장의 성질을 잡아낸 결과인지, 그 데이터 한 줄에 맞춰진 우연인지는 결과표만 봐서는 구분되지 않는다. 강건성 테스트는 이 둘을 갈라 보려는 점검 절차다.

목차

01

강건성 테스트는 무엇을 확인하는가

02

노이즈와 극단 시나리오, 두 가지 충격

03

어떻게 점검하는가, 절차와 가상 계산

04

흔한 오해와 한계

강건성 테스트는 무엇을 확인하는가

• 강건성(robustness)은 입력이나 가정을 조금 흔들어도 결론이 크게 달라지지 않는 성질이다. 수익이 크다는 뜻과는 다른 축에 있다.
• 백테스트는 과거 가격 데이터에 매매 규칙을 기계적으로 적용해 결과를 계산하는 작업이다. 그 결과는 어디까지나 하나의 과거 경로에 대한 답이다.
• 같은 발상은 통계와 공학에서 오래 쓰여 온 민감도 분석에서 왔다. 입력을 일부러 흔들어 보고 어떤 값에 결과가 민감한지 살피는 방식이다.
• 다만 강건성 테스트는 앞으로의 수익을 알려 주지 않는다. 규칙이 어디에서 깨지는지 드러내는 점검일 뿐이다.

노이즈와 극단 시나리오, 두 가지 충격

점검에 들어가기 전에 계산에 쓰이는 단위와 용어를 먼저 정리하자.

• 핍(pip): 외환에서 가격 변화를 세는 최소 단위다. EURUSD에서는 1핍이 0.0001이라, 환율 1.1650이 1.1651이 되는 움직임이 1핍이다.
• 스프레드: 사고팔 때 매겨지는 매수와 매도 가격의 차이다. 거래마다 비용으로 빠져나간다.
• 슬리피지: 주문한 가격과 실제로 체결된 가격의 차이다.
• 유동성: 원하는 가격에 사고팔 수 있는 여건, 다시 말해 거래 상대가 얼마나 있는지를 뜻한다.
• 갭: 거래가 끊긴 사이 가격이 비어 있는 구간이다.

점검에 쓰는 충격은 두 갈래로 나뉜다.

• 노이즈는 신호가 아니라 우연히 생긴 흔들림이다. 체결 가격이 몇 핍 밀리거나, 스프레드가 순간적으로 벌어지거나, 특정 시각의 데이터가 빠지는 일이 여기 들어간다. 과최적화는 과거 데이터의 우연한 잡음까지 규칙에 새겨 넣는 것을 말하며, 잡음에 맞춰 만든 규칙은 그 잡음이 바뀌는 순간 함께 흔들린다.
• 극단 시나리오는 드물게 오지만 한 번에 손실 폭을 키우는 상황이다. 변동성(가격이 짧은 시간에 얼마나 크게 흔들리는지)이 갑자기 커지거나, 유동성이 마르거나, 주말을 넘기며 갭이 생기는 경우가 대표적이다.

어떻게 점검하는가, 절차와 가상 계산

방식은 목적에 따라 조금씩 다르지만 큰 줄기는 네 가지다.

1. 파라미터 흔들기: 파라미터(규칙에 넣는 숫자)를 조금씩 바꿔 다시 돌린다. 이동평균 기간(최근 가격들을 평균 내는 구간의 길이)처럼 규칙에 들어가는 숫자가 대상이다. 성과가 급격히 무너지면 그 숫자 하나에 기대고 있다는 뜻이다.
2. 비용 가정 올리기: 스프레드와 슬리피지, 수수료 가정을 실제보다 후하게 잡아 본다. 비용을 낮게 잡으면 대부분의 규칙이 좋아 보인다.
3. 노이즈 주입하기: 체결가를 무작위로 몇 핍 밀거나 데이터 일부를 지우고 다시 계산한다.
4. 극단 시나리오 넣기: 변동성 급증, 유동성 공백, 갭을 가정에 추가한다.

점검 순서는 목적에 따라 조정할 수 있다.

가상 수치이며 실제 성과 예측이 아니다.

흔한 오해와 한계

• 통과했다는 사실이 안전을 뜻하지는 않는다. 이번에 시도한 충격에는 견뎠다는 정도의 의미다.
• 기준을 지나치게 엄격하게 잡으면 어떤 규칙도 통과하지 못한다. 아무것도 통과하지 못하는 점검은 정보를 주지 않는다.
• 과거에 없던 사건은 시뮬레이션할 수 없다. 가정의 범위가 곧 점검의 한계다.
• 견고함과 기대값은 다른 축이다. 충격에 잘 버티는 규칙이 수익도 낸다는 보장은 없다.
• 노이즈를 넣는 방식에 따라 결과가 달라진다. 한 번의 점검 결과를 절대적인 등급처럼 읽으면 곤란하다.

강건성 테스트는 규칙이 어느 지점에서 취약해지는지 드러내는 점검 절차다. 어떤 규칙을 쓸지, 언제 진입할지를 대신 정해 주지 않으며 미래 수익을 약속하지도 않는다. 통과 여부는 결론이 아니라 출발점이다.